ETL
Auch: Extract Transform Load, Extract, Transform, Load, data pipeline
ETL (Extract, Transform, Load) ist ein Datenintegrationsprozess, der Daten aus Quellsystemen extrahiert, in ein konsistentes Format bringt und in ein Zielsystem schreibt.
Was ETL ist
ETL steht für Extract, Transform, Load. Es ist ein Muster der Datenintegration, mit dem Daten aus einem oder mehreren Quellsystemen in ein Zielsystem überführt werden, typischerweise ein Data Warehouse, einen Data Mart oder eine Analytics-Datenbank. Die drei Stufen laufen nacheinander ab:
- Extract: Rohdaten aus Quellen wie Datenbanken, APIs, Flat Files (CSV, JSON), SaaS-Anwendungen oder Event Streams lesen.
- Transform: Die Daten bereinigen, validieren, deduplizieren, joinen, aggregieren und umformatieren, sodass sie dem Zielschema und den Geschäftsregeln entsprechen.
- Load: Die transformierten Daten ins Ziel schreiben, entweder als vollständiger Refresh oder als inkrementelle Updates.
Warum das wichtig ist
Rohdaten sind selten analysefertig. Sie kommen in unterschiedlichen Formaten, Einheiten und Qualitätsstufen an, oft verteilt über viele Systeme. ETL erzeugt eine einzige, verlässliche und konsistente Version der Daten, sodass Teams mit Sicherheit reporten und analysieren können.
- Datenqualität: Fehlerhafte Datensätze werden erkannt und korrigiert, bevor sie in Dashboards landen.
- Konsistenz: Währungen, Datumsangaben und Kunden-IDs werden standardisiert.
- Performance: Aufwendige Verarbeitung passiert einmal, upstream, statt in jeder Abfrage.
- Governance: Eine kontrollierte Pipeline macht Lineage und Auditing möglich.
Wie es in der Praxis eingesetzt wird
ETL-Pipelines laufen meist nach Zeitplan (zum Beispiel nachts) oder werden durch Events ausgelöst. Orchestrierungs-Tools koordinieren die Schritte, übernehmen Retries und alarmieren bei Fehlern. Eine verbreitete moderne Variante ist ELT, bei der die Rohdaten zuerst geladen und dann innerhalb eines leistungsfähigen Cloud-Warehouse transformiert werden. ETL wird oft bevorzugt, wenn die Transformationen komplex sind oder wenn sensible Daten bereinigt werden müssen, bevor sie im Ziel ankommen.
Konkretes Beispiel
Ein Einzelhändler will einen täglichen Sales-Report, der Online- und Filialdaten kombiniert.
1. Extract: Bestellungen aus einer PostgreSQL-Filialdatenbank und aus einer Shopify-API ziehen.
2. Transform: Alle Preise in Euro umrechnen, Timestamps auf UTC standardisieren, Retouren deduplizieren und beide Systeme auf einen Produktkatalog mappen.
3. Load: Die bereinigten Datensätze in eine Tabelle `fact_sales` im Warehouse einfügen.
Analysten fragen danach eine saubere Tabelle ab, statt zwei unsaubere Quellen von Hand abzugleichen. Das spart Stunden und reduziert Fehler.
Siehe auch
Häufige Fragen
Wofür steht ETL?
ETL steht für Extract, Transform, Load. Es ist ein Muster der Datenintegration, das Daten aus Quellsystemen wie Datenbanken, APIs oder Flat Files liest, sie bereinigt und so umformt, dass sie dem Zielschema und den Geschäftsregeln entsprechen, und sie dann in ein Ziel wie ein Data Warehouse oder eine Analytics-Datenbank schreibt.
Was ist der Unterschied zwischen ETL und ELT?
Die Reihenfolge der letzten zwei Schritte ändert sich. Bei ETL werden die Daten transformiert, bevor sie ins Ziel geschrieben werden; bei ELT werden die Rohdaten zuerst geladen und dann innerhalb eines leistungsfähigen Cloud-Warehouse transformiert. ETL wird oft bevorzugt, wenn die Transformationen komplex sind oder wenn sensible Daten bereinigt werden müssen, bevor sie im Ziel ankommen.
Warum nicht einfach die Quellsysteme direkt abfragen?
Weil Rohdaten selten analysefertig sind: Formate, Einheiten und Qualitätsstufen unterscheiden sich von System zu System. ETL erzeugt eine einzige verlässliche Version, standardisiert Währungen, Datumsangaben und Kunden-IDs und verlagert die aufwendige Verarbeitung nach upstream, sodass sie einmal passiert statt in jeder Abfrage. Außerdem werden Lineage und Auditing möglich.
Was passiert im Transform-Schritt genau?
Die Daten werden bereinigt, validiert, dedupliziert, gejoint, aggregiert und umformatiert, sodass sie dem Zielschema und den Geschäftsregeln entsprechen. In der Praxis heißt das zum Beispiel: alle Preise in eine einzige Währung umrechnen, Timestamps auf UTC standardisieren, doppelte Retouren entfernen und mehrere Systeme auf einen Produktkatalog mappen.
Wie oft läuft eine ETL-Pipeline, und wer überwacht sie?
ETL-Pipelines laufen meist nach Zeitplan, häufig nachts, oder werden durch Events ausgelöst. Orchestrierungs-Tools koordinieren die Schritte, übernehmen Retries und schicken Alerts bei Fehlern. Das Laden selbst kann ein vollständiger Refresh oder eine Reihe inkrementeller Updates sein, je nach Datenvolumen und dem nötigen Aktualitätsgrad im Ziel.