Data Lake
Auch: Data Lake, Enterprise Data Lake
Ein Data Lake ist ein zentraler Speicher, der große Datenmengen im Rohformat ablegt, von strukturierten Tabellen bis zu unstrukturierten Dateien, bis sie gebraucht werden.
Was es ist
Ein Data Lake ist ein zentraler Speicher, der große Datenmengen in ihrem rohen, ursprünglichen Format hält. Anders als eine klassische Datenbank oder ein Warehouse verlangt er kein Schema, bevor Daten geladen werden. Das nennt man schema-on-read: Die Struktur entsteht beim Abfragen der Daten, nicht beim Speichern.
Ein Data Lake kann enthalten:
- Strukturierte Daten (relationale Tabellen, CSV-Dateien)
- Semi-strukturierte Daten (JSON, XML, Logdateien, Parquet)
- Unstrukturierte Daten (Bilder, Video, Audio, Freitext, PDFs)
Warum es zählt
Unternehmen erzeugen Daten schneller, als sie sie modellieren können. Ein Data Lake erlaubt Teams, jetzt alles günstig zu erfassen und später zu entscheiden, wie es genutzt wird. Diese Flexibilität unterstützt Advanced Analytics und Machine Learning, die oft Rohsignale brauchen, die ein vorab aggregiertes Warehouse verworfen hätte.
Wesentliche Vorteile:
- Günstiger Speicher über Object Stores (Cloud oder on-premises)
- Entkoppelte Speicher- und Rechenschicht, sodass Sie beide unabhängig skalieren
- Eine einzige Quelle für Analysten, Data Scientists und Reporting-Tools
Das größte Risiko ist der Data Swamp: Ohne Governance, Katalogisierung und Qualitätskontrollen wird der Lake zu einer nicht durchsuchbaren Müllhalde. Belastbare Metadaten, Zugriffsrichtlinien und ein Data Catalog sind unverzichtbar.
Wie es in der Praxis genutzt wird
Daten landen im Lake über Batch-Loads oder Streaming-Ingestion. Üblich ist eine Organisation in Zonen: eine Raw Zone (unveränderte Quelldaten), eine Cleansed Zone (validiert und dedupliziert) und eine Curated Zone (fachlich einsatzbereite Datensätze). Engines wie SQL-Query-Services, Notebooks und BI-Tools lesen direkt aus dem Lake.
Viele Teams setzen inzwischen auf das Lakehouse-Muster, das Tabellenformate und Transaktionen auf den Lake aufsetzt und so die Flexibilität des Lake mit der Zuverlässigkeit eines Warehouse verbindet.
Konkretes Beispiel
Ein Händler streamt Clickstream-Logs, speichert nächtliche Verkaufstabellen und legt Produktbilder in einem Lake ab. Marketing fragt Klicks für die Kampagnen-Attribution ab, Finance liest die Verkäufe für das Reporting, und ein Data-Science-Team trainiert ein Recommendation-Modell auf Klicks plus Bilder, alles aus demselben Repository.
Siehe auch
Häufige Fragen
Was ist der Unterschied zwischen einem Data Lake und einem Data Warehouse?
Ein Data Warehouse verlangt, dass Sie das Schema vor dem Laden der Daten definieren; ein Data Lake speichert Daten in ihrem rohen, ursprünglichen Format und wendet Struktur erst beim Abfragen an, ein Ansatz namens schema-on-read. Damit eignet sich das Warehouse besser für governed Reporting auf modellierten Daten und der Lake besser dafür, Rohsignale für Exploration und Machine Learning zu behalten. Auch die Kostenprofile unterscheiden sich: Lakes setzen auf günstigen Object Storage, wobei Speicher und Compute separat skaliert werden.
Welche Arten von Daten können tatsächlich in einen Data Lake?
Alle drei Familien. Strukturierte Daten wie relationale Tabellen und CSV-Dateien, semi-strukturierte Daten wie JSON, XML, Logdateien und Parquet sowie unstrukturierte Daten wie Bilder, Video, Audio, Freitext und PDFs. Genau darin liegt der Sinn des Formats: Sie erfassen jetzt alles günstig und entscheiden später über die Modellierung, statt Signale zu verwerfen, die ein vorab aggregiertes Warehouse fallen gelassen hätte.
Was macht aus einem Data Lake einen Data Swamp, und wie vermeidet man das?
Ein Lake wird zum Data Swamp, wenn Daten ohne Governance, Katalogisierung oder Qualitätskontrollen anwachsen und eine nicht durchsuchbare Müllhalde hinterlassen, der niemand traut. Die Absicherung besteht aus belastbaren Metadaten, expliziten Zugriffsrichtlinien und einem Data Catalog, damit Nutzer einen Datensatz finden und wissen, woher er kommt. Ohne das kaufen Sie sich mit günstigem Speicher nur ein größeres Problem.
Wie werden Daten innerhalb eines Data Lake organisiert?
Die meisten Implementierungen nutzen Zonen. Eine Raw Zone hält unveränderte Quelldaten, eine Cleansed Zone hält validierte und deduplizierte Daten, und eine Curated Zone hält fachlich einsatzbereite Datensätze. Daten kommen über Batch-Loads oder Streaming-Ingestion an, und SQL-Query-Services, Notebooks und BI-Tools lesen direkt aus diesen Zonen.
Was ergänzt das Lakehouse-Muster gegenüber einem Data Lake?
Das Lakehouse setzt Tabellenformate und Transaktionen auf den Lake, sodass Sie die Flexibilität des Rohspeichers behalten und zugleich die Zuverlässigkeit gewinnen, die man normalerweise mit einem Warehouse verbindet. Viele Teams setzen genau deshalb darauf, um sich nicht zwischen den beiden Architekturen entscheiden zu müssen. Der zugrunde liegende Speicher bleibt derselbe Object Store; was sich ändert, sind die Garantien bei Lese- und Schreibvorgängen.