Data Pipelines: ETL/ELT, Batch, Streaming und Medallion-Architektur
Data Pipelines sind der Blutkreislauf Ihrer Datenplattform. Sie bewegen Daten von dort, wo sie entstehen, dorthin, wo sie genutzt werden. Wenn sie funktionieren, merkt es niemand. Wenn sie ausfallen, steht alles still.
Ein CDO, der die Architektur von Data Pipelines nicht versteht, kann Ausfälle nicht diagnostizieren, keine glaubwürdigen Gespräche mit Engineering-Teams führen und keine guten Architekturentscheidungen treffen.
ETLETLETL (Extract, Transform, Load) ist ein Datenintegrationsprozess, der Daten aus Quellsystemen extrahiert, in ein konsistentes Format bringt und in ein Zielsystem schreibt.Vollständige Definition ansehen → vs. ELTELTELT (Extract, Load, Transform) ist ein Muster der Datenintegration, bei dem Rohdaten zuerst in ein Zielsystem geladen und dann dort mit der Rechenleistung der Plattform transformiert werden.Vollständige Definition ansehen →: der grundlegende Wechsel des Patterns
Klassisches ETL (Extract, Transform, Load) transformiert Daten, bevor sie ins Ziel geladen werden. ELT (Extract, Load, Transform) lädt zuerst die Rohdaten und transformiert sie dann im Zielsystem.
ETL war sinnvoll, als Compute teuer und Storage günstig war: Man hat minimiert, was man speichert. ELT ist sinnvoll, wenn Cloud-Warehouses (Snowflake, BigQuery) skalierbares Compute bieten und Sie die Rohdaten für flexible Weiterverwendung behalten wollen.
Moderner Default: ELT. Rohdaten ins Warehouse oder in den Lake laden. Mit SQLSQLSales Qualified Lead: ein Prospect, den das Sales-Team als bereit für direkte Ansprache und ein Angebot validiert hat, weil er klare Qualifizierungskriterien erfüllt.Vollständige Definition ansehen → (dbt) oder Spark transformieren. Bei veränderten Anforderungen neu transformieren, ohne die Quelldaten erneut zu laden.
ETL vs ELT: Key Differences Explained
Wissenscheck
1. Was ist der grundlegende Unterschied zwischen ETL und ELT?
2. Warum hat sich ELT gegenüber klassischem ETL als moderner Default durchgesetzt?
3. Ein Fraud-Detection-System muss auf Transaktionen reagieren, während sie passieren. Welches Verarbeitungspattern ist am besten geeignet?
4. Wählen Sie ALLE korrekten Aussagen zu Batch-, Streaming- und Micro-Batch-Verarbeitung.
Wählen Sie alle richtigen Antworten aus.
5. Wählen Sie ALLE korrekten Aussagen zu Pipeline-Orchestrierung und Apache Airflow.
Wählen Sie alle richtigen Antworten aus.
Batch vs. Streaming: das Latenzspektrum
Batch-Verarbeitung bewegt Daten in geplanten Fenstern: stündlich, täglich, wöchentlich. Tools: Apache Spark, dbt, AWS Glue. Einsatz, wenn: Latenz akzeptabel ist (Reports über Nacht, wöchentliche Modelle), das Datenvolumen hoch und die Verarbeitung komplex ist.
Streaming-Verarbeitung bewegt Daten in Echtzeit oder nahezu in Echtzeit (Sekunden bis Minuten). Tools: Apache Kafka, Apache Flink, AWS Kinesis, Google Pub/Sub. Einsatz, wenn: Geschäftsentscheidungen von aktuellen Daten abhängen (Fraud Detection, Echtzeit-Personalisierung, operative Dashboards).
Micro-Batch ist der Mittelweg: kleine Batches, die alle paar Minuten verarbeitet werden. Apache Spark Structured Streaming unterstützt das. Oft ausreichend, wenn echte Echtzeit nicht nötig ist, stündliche Batches aber zu langsam sind.
Die meisten Organisationen brauchen beides: Batch für schwere analytische Workloads, Streaming für operative Use Cases. Bauen Sie die Architektur so, dass sie beide Patterns unterstützt, und nicht getrennte, inkompatible Systeme für jedes.
PipelinePipelineAlle aktiven Verkaufschancen über die Phasen des Vertriebsprozesses hinweg, zusammen mit ihrem gesamten potenziellen Wert und ihrer Abschlusswahrscheinlichkeit.Vollständige Definition ansehen →-Orchestrierung
Orchestrierung beantwortet die Frage: Wer entscheidet, wann Pipelines laufen, in welcher Reihenfolge und was passiert, wenn sie ausfallen?
Apache Airflow ist der dominierende Open-Source-Orchestrator. Pipelines werden als DAGs (Directed Acyclic Graphs) in Python definiert. Starkes Ökosystem, ausgereiftes Monitoring, komplex im Betrieb.
Prefect und Dagster sind moderne Alternativen mit besserer Developer Experience und nativer Unterstützung für datenspezifische Patterns (Asset Materialization, Data LineageData LineageData Lineage zeigt, wie Daten sich durch Systeme bewegen und dabei transformiert werden, von der Quelle bis zur Nutzung: woher sie kommen, was sie verändert hat und wohin sie gehen.Vollständige Definition ansehen →).
dbt Cloud übernimmt die Orchestrierung speziell für Transformations-Workloads.
Im MaMaEinsatz von Software, um wiederkehrende Marketingaufgaben und Kampagnen zu automatisieren und Personalisierung in großem Maßstab über Kanäle wie E-Mail, Web und Social zu ermöglichen.Vollständige Definition ansehen →ßstab wird die Komplexität der Orchestrierung zu einer erheblichen operativen Last. Airbnb betreibt täglich tausende Airflow-DAGs, DAG-Sprawl, Dependency Management und Failure Recovery zu managen ist eine eigene Engineering-Funktion. CDOs sollten diese Kosten einkalkulieren, wenn sie den Headcount im Data Engineering planen.
Zuverlässigkeit von Data Pipelines
Pipeline-Zuverlässigkeit ist ein Thema erster Ordnung. Eine Pipeline, die stillschweigend falsche Ergebnisse produziert, ist schlimmer als eine Pipeline, die laut ausfällt. Zentrale Praktiken:
- Idempotenz: Eine Pipeline zweimal laufen zu lassen sollte dasselbe Ergebnis liefern. Vermeiden Sie reine Append-Schreibvorgänge ohne Deduplizierung.
- Data-Quality-Checks in jeder Stufe: Warten Sie mit der Validierung nicht bis zum Schluss, prüfen Sie bei der Ingestion, bei der Transformation, beim Laden.
- Alerting auf Qualität, nicht nur auf Ausfälle: Eine Pipeline, die läuft, aber 40 % Null-Werte produziert, ist gescheitert. Überwachen Sie Vollständigkeit, Aktualität und SchemaSchemaEin Schema ist der formale Bauplan, der festlegt, wie Daten in einer Datenbank, einer Datei oder einer Nachricht strukturiert, benannt, typisiert und miteinander verknüpft sind.Vollständige Definition ansehen → Drift, nicht nur den Job-Status.
- Lineage-Dokumentation: Wissen Sie, welche Downstream-Konsumenten von welcher Pipeline abhängen. Wenn sich eine Pipeline ändert, informieren Sie die Downstream-Teams proaktiv.
Praktische Architektur: das Medallion-Pattern
Die Medallion-Architektur (Bronze → Silver → Gold) hat sich zum De-facto-Standard für Lake- und Lakehouse-Implementierungen entwickelt:
- Bronze: Roh eingelesene Daten, unverändert, mit Metadaten (Load-Timestamp, Quellsystem). Niemals löschen. Das ist Ihr Audit Trail.
- Silver: Bereinigte, deduplizierte, standardisierte Daten. Joins angewendet. Business-Regeln teilweise durchgesetzt. Geeignet für Data-Science-Exploration.
- Gold: Aggregierte, business-fertige Daten. Optimiert für bestimmte analytische Use Cases. Genutzt von BIBITechnologien und Prozesse, die Rohdaten über Reporting, Dashboards und Analysen in verwertbare Insights überführen, damit Teams auf Basis von Fakten statt Intuition entscheiden.Vollständige Definition ansehen →-Tools und Business-Stakeholdern.
Uber, Netflix und Databricks-Kunden nutzen dieses Pattern breit. Es liefert klare Erwartungen an die Datenqualität in jeder Schicht und macht Debugging schneller, wenn eine Business-Metrik falsch ist, wissen Sie, welche Schicht Sie zuerst prüfen müssen.
Quizfragen
- Warum ist ELT zum modernen Default-Pattern geworden?
A) Es ist schneller als ETL
B) Cloud-Warehouses bieten skalierbares Compute, wodurch Rohdaten erhalten bleiben und bei Bedarf neu transformiert werden können
C) Es erfordert weniger technische Kompetenzen
D) Es senkt die Storage-Kosten
Antwort: B
- Was enthält in der Medallion-Architektur die Bronze-Schicht?
A) Aggregierte, für BI optimierte Daten
B) Bereinigte und standardisierte Daten
C) Unveränderte Rohdaten mit Load-Metadaten
D) Produktionsdaten in Echtzeit
Antwort: C
- Was ist der zentrale Unterschied zwischen Streaming und Micro-Batch?
A) Micro-Batch ist immer langsamer als Batch
B) Streaming verarbeitet jedes Event einzeln in Echtzeit, Micro-Batch verarbeitet kleine Batches alle paar Minuten
C) Micro-Batch ist identisch mit Streaming
D) Streaming funktioniert nur mit Kafka
Antwort: B
Was Sie aus dieser Lektion umsetzen
Diese Maßnahmen sind im Playbook der Rolle zusammengefasst.
- Pipelines auf das Medallion-Muster mit Bronze-, Silver- und Gold-Layer standardisieren
Verwandte Artikel
Aktuelle Blogartikel, die auf dieser Lektion aufbauen.
- DataDer moderne ELT-Stack: wie dbt, Ingestion und Orchestrierung tatsächlich zusammenspielenDas ELT-Muster hat die Art verändert, wie Data-Teams Pipelines bauen, doch das Akronym verbirgt in der Praxis erhebliche Komplexität. Dieser Artikel zeigt, wie dbt, Ingestion-Tools und Orchestrierungsebenen zusammenwirken und wo die eigentlichen Architekturentscheidungen liegen.
- DataWie Cloudflare seinen Data Stack rund um dbt, Fivetran und Airflow neu gebaut hatDas schnelle Wachstum von Cloudflare hat die Grenzen handgeschriebener SQL-Pipelines und fragmentierter Ingestion-Skripte offengelegt, die kein Engineer mehr anfassen wollte. Diese Case Study zeigt, wie das Unternehmen seinen analytischen Datenlayer mit einem modernen ELT-Ansatz umgebaut hat und was dieser Wechsel in der Praxis tatsächlich erfordert hat.
- DataDer moderne ELT-Stack erklärt: dbt, Ingestion und Orchestrierung im ZusammenspielDer Wechsel von ETL zu ELT hat die Art verändert, wie Datenteams Pipelines bauen. Die eigentliche Komplexität liegt aber darin, zu verstehen, wie die drei Schichten Ingestion, Transformation und Orchestrierung tatsächlich zusammenwirken. Dieser Artikel zerlegt die Mechanik des modernen Stacks anhand konkreter Beispiele und zeigt, wo die echten Tradeoffs für Führungskräfte liegen, die Architekturentscheidungen treffen.