Data Lakehouse
Auch: Lakehouse, Data lakehouse, Maison du lac de donnees, Lac-entrepot de donnees
Eine hybride Architektur, die die Flexibilität eines Data Lake mit den analytischen Fähigkeiten eines Data Warehouse auf einer einzigen Storage-Schicht verbindet.
Was es ist
Ein Data Lakehouse ist eine Datenarchitektur, die zwei bisher getrennte Welten zusammenführt:
- Den Data Lake: günstiger, skalierbarer Speicher (typischerweise Object Storage wie Amazon S3, Azure Data Lake Storage oder Google Cloud Storage), der Rohdaten in jedem Format aufnimmt (strukturierte Tabellen, JSON, Bilder, Logs, Video).
- Das Data Warehouse: ein governed, performantes System, optimiert für SQL-Analytics, mit Schemas, Transaktionen und schnellen Queries.
Das Lakehouse hält alle Daten in offenen Dateiformaten (etwa Parquet) auf günstigem Speicher und legt darüber eine Metadaten- und Transaktionsschicht (offene Table-Formate wie Apache Iceberg, Delta Lake oder Apache Hudi). Diese Schicht bringt Warehouse-Funktionen (ACID-Transaktionen, Schema Enforcement, Versionierung und Governance) direkt in den Lake.
Warum es zählt
Vor dem Lakehouse betrieben Organisationen häufig zwei Stacks: einen Lake für Data Science und Rohdaten und daneben ein Warehouse für Business Intelligence. Daten wurden zwischen beiden kopiert, was doppelten Speicher, zusätzliche Pipelines, höhere Kosten und mehrere Versionen der Wahrheit bedeutete.
Das Lakehouse verspricht:
- Eine Kopie der Daten für BI-Dashboards, Ad-hoc-SQL und machine learning.
- Niedrigere Kosten, weil Object Storage statt proprietärem Warehouse-Speicher genutzt wird.
- Offene Formate, die Vendor Lock-in vermeiden.
- Governance und Qualität, einmal und konsistent angewendet.
Wie es in der Praxis eingesetzt wird
Teams organisieren das Lakehouse üblicherweise in Ebenen, oft bronze, silver, gold genannt:
- Bronze: rohe, wie angeliefert eingelesene Daten.
- Silver: bereinigte, deduplizierte, harmonisierte Daten.
- Gold: geschäftsfertige Aggregate und Metriken für das Reporting.
Analysten fragen Gold-Tabellen mit SQL ab. Data Scientists trainieren Modelle auf Silver- oder Bronze-Daten. Beide nutzen dieselben zugrunde liegenden Dateien.
Konkretes Rechenbeispiel
Ein Händler streamt Point-of-Sale-Transaktionen, Website-Clickstream und Inventar-Feeds in Object Storage (bronze). Eine Pipeline bereinigt und verknüpft sie zu Silver-Tabellen, in einem offenen Table-Format, das einen konsistenten Snapshot garantiert, auch während neue Daten eintreffen.
- Das Finance-Team fragt Gold-Tabellen für täglichen Umsatz und Marge ab.
- Das Marketing-Team baut Kundensegmente aus demselben Clickstream.
- Das Data-Science-Team trainiert ein Churn-Modell auf der Roh-Event-Historie.
Es werden keine Daten in ein separates Warehouse kopiert. Eine governed Plattform, viele Konsumenten.
Siehe auch
Häufige Fragen
Was ist ein Data Lakehouse, einfach erklärt?
Ein Data Lakehouse ist eine Architektur, die alle Daten in offenen Dateiformaten auf günstigem Object Storage speichert (Amazon S3, Azure Data Lake Storage, Google Cloud Storage) und darüber eine Metadaten- und Transaktionsschicht legt, sodass es sich wie ein Data Warehouse verhält. Diese Schicht bringt ACID-Transaktionen, Schema Enforcement, Versionierung und Governance direkt in den Lake. Das Ergebnis: eine Kopie der Daten bedient BI, Ad-hoc-SQL und machine learning.
Was ist der Unterschied zwischen Data Lake, Data Warehouse und Lakehouse?
Ein Data Lake ist günstiger, skalierbarer Speicher für Rohdaten in jedem Format (Tabellen, JSON, Bilder, Logs, Video), aber ohne Warehouse-Garantien. Ein Data Warehouse ist ein governed, performantes System, optimiert für SQL-Analytics, mit Schemas, Transaktionen und schnellen Queries. Das Lakehouse behält Speicher und offene Formate des Lake und legt Warehouse-Funktionen darüber, sodass Sie keine zwei getrennten Stacks mehr pflegen müssen.
Warum sollte ein Unternehmen davon abrücken, Lake und Warehouse parallel zu betreiben?
Weil zwei Stacks bedeuten, dass Daten zwischen ihnen kopiert werden: doppelter Speicher, zusätzliche Pipelines, höhere Kosten und mehrere Versionen der Wahrheit. Das Lakehouse hält eine governed Kopie der Daten, nutzt Object Storage statt proprietärem Warehouse-Speicher, setzt auf offene Formate, die Vendor Lock-in begrenzen, und wendet Governance- und Qualitätsregeln einmal statt zweimal an.
Was bedeuten bronze, silver und gold in einem Lakehouse?
Es sind die drei Ebenen, mit denen Teams Daten in einem Lakehouse organisieren. Bronze enthält rohe, wie angeliefert eingelesene Daten, silver enthält bereinigte, deduplizierte und harmonisierte Daten, gold enthält geschäftsfertige Aggregate und Metriken für das Reporting. Analysten fragen Gold-Tabellen mit SQL ab, während Data Scientists Modelle auf Silver oder Bronze trainieren, alles auf denselben zugrunde liegenden Dateien.
Welche Technologien machen ein Lakehouse möglich?
Zwei Bausteine: ein offenes Dateiformat wie Parquet für die Daten selbst und ein offenes Table-Format wie Apache Iceberg, Delta Lake oder Apache Hudi für die Metadaten- und Transaktionsschicht. Das Table-Format garantiert ACID-Transaktionen, Schema Enforcement und konsistente Snapshots, sodass eine Pipeline eine stabile Sicht auf eine Tabelle lesen kann, auch während neue Daten eintreffen.