DataModerne Datenarchitektur

Warum Ihre Datenarchitektur Sie belügt und was moderne CDOs dagegen tun

Die meisten Unternehmen glauben, sie hätten eine Datenarchitektur. Was sie tatsächlich haben, ist eine Ansammlung historischer Zufälle, zusammengehalten von guten Absichten und teurer Middleware. So bauen die CDOs, die Wettbewerbsvorteile neu definieren, anders.

🎙️

Podcast anhören

3 min

Als Delta Air Lines im Sommer 2023 über 7.000 Flüge am Boden ließ, war der Kaskadenausfall nicht rein eine Technologiestörung, sondern ein Architekturversagen. Datensysteme, die nicht mit operativen Systemen kommunizieren konnten, Entscheidungslogik, die in alternder Middleware begraben lag, und die grundlegende Unfähigkeit, Echtzeitinformationen an die Menschen und Systeme zu leiten, die sie brauchten. Die Rechnung: 500 Millionen Dollar Verlust und eine Anhörung im Kongress. Delta ist kein Ausreißer. Delta ist ein Spiegel.

Die unbequeme Wahrheit, die die meisten CDOs nicht öffentlich sagen, lautet: Die Mehrheit der Datenarchitekturen in Unternehmen wurde nicht entworfen. Sie ist angewachsen. Jedes Jahr brachte eine neue Plattform, ein neues Anbieterversprechen, eine neue Integrationsschicht, und die Schulden summierten sich lautlos bis zu dem Tag, an dem es damit vorbei war.

Die architektonische Abrechnung, die gerade stattfindet

Die Diskussion über moderne Datenarchitektur ist deutlich über die simplen Debatten „Data Lake gegen Data Warehouse" von vor fünf Jahren hinausgewachsen. Drei strukturelle Verschiebungen prägen heute, wie führende Organisationen über Dateninfrastruktur denken.

Das Lakehouse ist vom Hype zur Grundlinie geworden

Was Databricks propagierte und Snowflake konterte, ist inzwischen Pflichtprogramm. Die Lakehouse-Architektur, die die kostengünstige Speicherflexibilität von Data Lakes mit der Performance und den Governance-Kontrollen von Warehouses verbindet, ist keine differenzierende Entscheidung mehr. Organisationen wie Walmart, das täglich über 2,5 Petabyte Daten verarbeitet, und Booking.com haben Lakehouse-Architekturen nicht als Innovationsprojekte eingeführt, sondern als operative Notwendigkeit. Die Frage lautet nicht mehr „Sollten wir ein Lakehouse in Betracht ziehen?", sondern „Betreiben wir unseres mit genug Disziplin?"

Das Risiko liegt in der Einführung ohne Governance. Viele Organisationen sind auf Lakehouse-Plattformen migriert, nur um denselben Sumpf neu zu erschaffen, dem sie entkommen wollten: ungeregelte Tabellen, undokumentierte Schemata und eine Datenqualität, die schneller verfällt, als irgendwer sie nachverfolgen kann. Die Formatstandardisierung rund um Apache Iceberg und Delta Lake hilft, aber Format allein erzeugt keine belastbaren Daten.

Das Data Mesh wird im großen Maßstab erprobt

Thoughtworks hat das Data-Mesh-Konzept populär gemacht, und frühe Anwender, darunter ING Bank, JPMorgan Chase und Zalando, haben inzwischen genug Erfahrung gesammelt, um ehrliche Bilanzen zu ziehen. Die Ergebnisse sind auf lehrreiche Weise gemischt. Organisationen, die Erfolg hatten, behandelten Data Mesh zuerst als Transformation des Operating Models und erst danach als Technologieeinführung. Wer scheiterte, begann typischerweise mit dem Kauf einer Plattform und erwartete, dass der kulturelle Wandel folgen würde. Er folgte nicht.

Der Ansatz von Zalando ist besonders lehrreich: Sie haben Prinzipien der Domain-Ownership aufgebaut, bevor sie die Infrastruktur aufbauten, und sie haben in das investiert, was sie „Data Product Thinking" nannten: jedes Datenergebnis als etwas zu behandeln, das einen Owner, ein SLA und einen Konsumenten hat. Wer diesen Schritt übersprungen hat, konsolidiert gerade still zurück in Richtung zentralisierter Modelle.

Echtzeit ist keine Option mehr

Kafka hat die Marke von 100.000 Organisationen als Deployment-Meilenstein überschritten. Das Enterprise-Growth von Confluent, der Aufstieg von Flink zum Standard für Stream Processing und das Auftauchen von Echtzeit-OLAP-Engines wie Apache Pinot und StarRocks deuten alle auf dasselbe hin: Batch-first-Architektur ist eine strategische Belastung. Unternehmen wie Uber, deren gesamtes operatives Modell auf Entscheidungen im Sekundenbruchteil bei Pricing, Matching und Fraud beruht, haben gezeigt, was Echtzeit-Dateninfrastruktur möglich macht. Die Versicherungsbranche, notorisch langsam, beobachtet, wie Telematikdaten von Unternehmen wie Root Insurance das Pricing-Modell komplett neu schreiben, in Echtzeit.

Was das für den CDO bedeutet

Die strategische Konsequenz ist nicht, dass CDOs zu Enterprise-Architekten werden müssen. Sie ist, dass CDOs, die sich bei Architekturentscheidungen indifferent verhalten, regelmäßig feststellen werden, dass ihre Datenstrategie von einer Infrastruktur blockiert wird, die sie nicht verstehen und nicht beeinflusst haben.

Architektur ist jetzt Verantwortung des CDO

Vor drei Jahren war es vertretbar, dass ein CDO die Architektur vollständig an den CTO oder CIO delegiert. Dieses Fenster ist zu. Warum? Weil der moderne Data Stack untrennbar mit Data Governance, der Lieferung von Data Products und AI Readiness verbunden ist. Wenn Ihre Organisation einem Machine-Learning-Modell nicht in unter 24 Stunden einen sauberen, dokumentierten Datensatz mit nachvollziehbarer Lineage bereitstellen kann, ist das kein Technologieversagen, sondern ein Versagen der Datenführung. CDOs bei Unternehmen wie Moderna und American Express haben Architekten direkt in ihr Data Office eingebettet, nicht als geliehene Ressourcen, sondern als festes Personal mit Verantwortung für die Datenstrategie.

Die Kosten der Inkohärenz sind inzwischen quantifizierbar

Gartner schätzt, dass schlechte Datenqualität Organisationen im Durchschnitt 12,9 Millionen Dollar pro Jahr kostet. Doch diese Zahl unterschätzt die architektonische Dimension. Wenn Ihre Architektur die Abstimmung von drei Teams und zwei Übersetzungsschichten erfordert, um eine einzige Geschäftsfrage zu beantworten, sind die realen Kosten die Entscheidungsgeschwindigkeit. McKinsey-Untersuchungen zeigen konsistent, dass datengetriebene Organisationen Entscheidungen 5- bis 6-mal schneller treffen als ihre Wettbewerber. Diese Geschwindigkeitslücke ist häufig eine Architekturlücke.

AI Readiness ist die neue Forcing Function der Architektur

Die Explosion an KI-Initiativen im Unternehmen, von Microsofts Copilot-Rollouts bis zum branchenspezifischen Fine-tuning von LLMs, hat jede architektonische Schwäche gleichzeitig offengelegt. Foundation Models brauchen saubere, kontextualisierte, geregelte Daten. Retrieval-augmented-Generation-Systeme (RAG) brauchen strukturierte Metadaten. Echtzeit-KI-Anwendungen brauchen Streaming-Infrastruktur. Wenn Ihre Datenarchitektur diese Anforderungen nicht erfüllen kann, ist Ihre KI-Strategie Theater. Das ist die Forcing Function, die CDOs intern nutzen sollten, um Architekturinvestitionen freizusetzen.

Die wichtigsten Punkte

  • Governance kommt vor Plattform: Wer eine moderne Plattform einführt, Lakehouse, Mesh oder Streaming, ohne Ownership-Modelle und Standards für Data Products, reproduziert genau die Probleme, die er lösen will, nur auf neuerer Infrastruktur.
  • Behandeln Sie Architektur als CDO-Domäne: Die Zeiten der vollständigen Delegation an die IT sind vorbei. CDOs müssen sich genug Sattelfestigkeit aneignen, um Architekturentscheidungen zu beeinflussen, sonst verbringen sie ihre Amtszeit damit, Folgen zu verwalten, die sie nicht verursacht haben.
  • Echtzeit ist eine Wettbewerbsschwelle, kein Luxus: Organisationen, die operative Entscheidungen noch überwiegend über Batch-Pipelines treffen, sind nicht hinter der Kurve, sie arbeiten in einer völlig anderen Epoche, und der Abstand wächst monatlich.
  • KI-Initiativen sind Ihr bester interner Hebel: Nutzen Sie die organisatorische Dringlichkeit rund um KI, um Architekturinvestitionen zu begründen, die Datenteams über Jahre nicht finanziert bekamen. Der CFO, der zu einem Data-Mesh-Pilot Nein gesagt hat, wird zu Infrastruktur für AI Readiness Ja sagen.

---

Die Organisationen, die im nächsten Jahrzehnt Datenführung definieren werden, sind nicht die mit den größten Datenteams oder den größten Plattformbudgets. Es sind die, deren CDOs verstanden haben, dass Architektur Strategie ist, und entsprechend gehandelt haben, bevor ihre Wettbewerber es taten. Die Frage, bei der es sich zu verweilen lohnt, ist eine direkte: Beschleunigt Ihre aktuelle Architektur Ihr Geschäft, oder erklärt sie regelmäßig, warum Dinge länger gedauert haben als erwartet? Wenn Sie vor der Antwort gezögert haben, wissen Sie schon, was sich ändern muss.

Mehr dazu

Die Lektionen, die diesen Artikel weiterführen, frei zugänglich.

  1. 1Das Lakehouse: Analytics und ML vereinenModerne Datenarchitektur
  2. 2Data Warehouse, Lake & Lakehouse: die richtige Architektur wählenModerne Datenarchitektur
  3. 3Data Mesh: Prinzipien, Erfolgsbedingungen & KritikModerne Datenarchitektur
  4. 4Event-driven Architecture & Streaming-PlattformenModerne Datenarchitektur
  5. 5Cloud-Dateninfrastruktur: Services, Kosten & MigrationModerne Datenarchitektur

Artikel gelesen?

Bestätigen Sie Ihre Lektüre, um XP zu sammeln und Ihr Radar zu füttern.