Der Zen AI · AI Data Engineering Agent verwandelt heterogene Quellen wie Excel-Tabellen, öffentliche APIs, interne Datenbanken sowie Sensor- und Bilddaten in eine produktionsreife Datenpipeline samt Dashboard und Lineage-DAG. Alles in einer einzigen agentischen Iteration.
Statt wochenlangem Data-Engineering-Setup übersetzt der Agent eine Use-Case-Beschreibung in echte dbt-Modelle, integriert sie mit DuckDB, generiert ein interaktives Dashboard und dokumentiert das Ergebnis als interaktive Lineage. Jede Zeile in jedem Mart bleibt über die Pipeline rückverfolgbar, bis zur Quell-Zeile in der CSV.
Neue Domänen ohne Python-Code-Änderungen: ein TOML, ein Marts-Ordner, fertig. Der Agent erkennt das Pattern und integriert das neue Daten-Universum in dieselbe Multi-Profile-Architektur.
Diese Demo zeigt eine produktive Datenpipeline für die kommunale Müll-Sammlung. Eingangsquellen: Field-Observer-Daten (World Bank), monatliche Tonnage-Werte der NYC Sanitation Department, Cary-NC-Routen, synthetische interne Team-Ressourcen. Zwei Klicks weiter siehst du das gerenderte Dashboard und den vollständigen DAG.
Vier Plots: Müll-Hotspot-Treemap, Team-Allocation-Heatmap, geplante vs. tatsächliche Sammelmengen, NYC-Tonnage über 35 Jahre. Light-Theme · standalone HTML.
→Jeder Knoten klickbar bis aufs Schema, die Transformation, die in-/out-Edges. Sechs Modals (Journey · Stack · Runbook · Health · Glossary · Roadmap).
→