ELT
Auch: Extract, Load, Transform
ELT (Extract, Load, Transform) ist ein Muster der Datenintegration, bei dem Rohdaten zuerst in ein Zielsystem geladen und dann dort mit der Rechenleistung der Plattform transformiert werden.
Worum es geht
ELT steht für Extract, Load, Transform. Es handelt sich um einen Ansatz der Datenintegration, bei dem Daten aus Quellsystemen gezogen, in ihrer Rohform in eine Zielplattform geladen (typischerweise ein Cloud Data Warehouse oder ein Lakehouse) und erst dann in bereinigte, modellierte Datensätze transformiert werden. Das kehrt die Reihenfolge des älteren ETL-Musters um, bei dem die Transformation vor dem Laden stattfindet.
Der Wechsel zu ELT wurde durch skalierbaren, günstigen Cloud-Speicher und leistungsfähige Compute-Engines im Warehouse (etwa spaltenorientierte Query-Engines) vorangetrieben. Wenn die Transformation günstig und schnell im Ziel selbst laufen kann, gibt es kaum einen Grund, sie vorher in einer separaten Verarbeitungsschicht durchzuführen.
Warum es zählt
- Geschwindigkeit der Ingestion: Rohdaten landen schnell, weil das Laden von der Transformationslogik entkoppelt ist.
- Flexibilität: Wer Rohdaten behält, kann sie später neu modellieren, ohne erneut aus den Quellen zu extrahieren.
- Skalierbarkeit: Die Transformation nutzt die elastische Rechenleistung moderner Warehouses statt eines fest dimensionierten ETL-Servers.
- Nachvollziehbarkeit: Die ursprünglichen Rohdaten bleiben erhalten, was beim Debugging, bei der Neuverarbeitung und bei Compliance hilft.
- Trennung der Rollen: Engineers verantworten die Ingestion; Analysten und Analytics Engineers besitzen die Transformationen und arbeiten mit SQL-basierten Tools.
Für einen Chief Data Officer unterstützt ELT eine governte Single Source of Truth und lässt Teams gleichzeitig an der Geschäftslogik iterieren, ohne am zentralen Pipeline-Team hängen zu bleiben.
Wie es in der Praxis eingesetzt wird
Ein typischer ELT-Stack kombiniert:
1. Extract- und Load-Tools, die sich mit APIs, Datenbanken und Dateien verbinden und Daten ins Warehouse replizieren.
2. Ein Cloud Warehouse oder Lakehouse als zentralen Speicher.
3. Ein Transformations-Framework (meist SQL-basiert), das geschichtete, getestete und dokumentierte Modelle aufbaut.
Transformationen werden üblicherweise in Schichten organisiert: raw, staging (bereinigt) und marts (geschäftsfertige Tabellen für Reporting und AI-Features).
Konkretes Beispiel
Ein Marketing-Team will eine einheitliche Sicht auf die Kampagnenperformance:
- Extract: Rohzeilen aus der API einer Ad-Plattform, einem CRM und Web Analytics ziehen.
- Load: Alle drei Rohdatensätze unverändert ins Warehouse ablegen.
- Transform: SQL-Modelle laufen lassen, die Datumsformate standardisieren, Leads deduplizieren, Spend mit Revenue verknüpfen und eine Tabelle `campaign_roi` erzeugen.
Wird im nächsten Quartal eine neue Metrik gebraucht, ergänzen Analysten einfach ein Modell auf den bereits geladenen Rohdaten, ohne neue Extraktion.
Häufige Fragen
Wofür steht ELT?
ELT steht für Extract, Load, Transform. Daten werden aus Quellsystemen gezogen, roh in eine Zielplattform wie ein Cloud Data Warehouse oder ein Lakehouse geladen und erst dann in bereinigte, modellierte Datensätze transformiert.
Was ist der Unterschied zwischen ELT und ETL?
Der Unterschied liegt in der Reihenfolge der letzten beiden Schritte. Bei ETL werden die Daten in einer separaten Verarbeitungsschicht transformiert, bevor sie geladen werden; bei ELT landen die Rohdaten zuerst, und die Transformation läuft in der Zielplattform mit deren Compute-Engine.
Warum hat ELT in den meisten modernen Data Stacks ETL verdrängt?
Weil Cloud-Speicher günstig und die Rechenleistung im Warehouse stark geworden ist, insbesondere mit spaltenorientierten Query-Engines. Wenn die Transformation schnell und günstig im Ziel läuft, verliert ein separater ETL-Server vor dem Laden seinen Zweck.
Aus welchen Komponenten besteht ein ELT-Stack?
Aus drei: Extract- und Load-Tools, die sich mit APIs, Datenbanken und Dateien verbinden, um Daten zu replizieren; ein Cloud Warehouse oder Lakehouse als zentraler Speicher; und ein Transformations-Framework, meist SQL-basiert, das geschichtete, getestete und dokumentierte Modelle aufbaut.
Wie werden ELT-Transformationen im Warehouse organisiert?
In Schichten: raw für die Daten wie geladen, staging-Modelle für die Bereinigung und marts mit geschäftsfertigen Tabellen für Reporting und AI-Features. Bei einem Marketing-Use-Case würde staging Datumsformate standardisieren und Leads deduplizieren, während ein Mart Spend mit Revenue verknüpft und eine Tabelle campaign_roi erzeugt.