Streaming Data & Apache Kafka: Echtzeit-Architektur

Echtzeitdaten sind kein Luxus-Feature. Für eine wachsende Klasse von Use Cases sind sie eine geschäftliche Anforderung.

Fraud Detection, die auf den Transaktionen von gestern läuft, ist nutzlos. Personalisierung auf Basis des Verhaltens der letzten Woche verpasst den Moment. Operative Dashboards, die stündlich aktualisiert werden, kkThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →önnen keine Echtzeitentscheidungen tragen. Der Business Value von Daten nimmt mit der Zeit ab, und bei manchen Use Cases nimmt ererThe ratio of interactions (likes, comments, shares) to reach for a given piece of content, used to gauge how well audiences respond relative to how many people saw it.Vollständige Definition ansehen → sehr schnell ab.

Was Streaming Data tatsächlich ist

Streaming Data ist eine kontinuierliche, unbegrenzte Folge von Events. Anders als Batch-Daten (ein begrenzter Datensatz, der in geplanten Intervallen verarbeitet wird) fließen Streaming-Daten kontinuierlich und müssen mit niedriger Latenz verarbeitet werden.

Ein Beispiel aus der Praxis: Jeder Klick, jede Seitenansicht, jedes Add-to-Cart und jeder Kauf auf einer E-Commerce-Site ist ein Streaming-Event. Diese Events entstehen durch Nutzeraktionen innerhalb von Millisekunden. Ihre Verarbeitung in Echtzeit ermöglicht: Bestandsaktualisierungen in Echtzeit, sofortiges Fraud Scoring, Live-Personalisierung und operative Dashboards.

Apache Kafka: die dominierende Streaming-Plattform

Kafka ist der De-facto-Standard für Streaming-Data-Infrastruktur. Die Architektur im Überblick:

Topics: Logische Kanäle. Events werden an Topics publiziert (z. B. "checkout-events", "user-clicks"). Topics kkThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →önnen viele Producer und viele Consumer haben.

Producer: Anwendungen, die Events an Topics publizieren. Ihr Checkout-Service publiziert ein "purchase-completed"-Event, sobald eine Order aufgegeben wird.

Consumer: Anwendungen, die Topics abonnieren und Events verarbeiten. Ihr Fraud-Detection-Service konsumiert "purchase-completed"-Events und scort jede Transaktion.

Consumer Groups: Mehrere Consumer kkThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →önnen eine Group bilden und die Arbeit untereinander aufteilen. Wenn Sie ein Topic mit 10 Partitionen und 10 Consumer-Instanzen haben, bearbeitet jede Instanz eine Partition, horizontale Skalierbarkeit.

Retention: Kafka speichert Events für einen konfigurierbaren Zeitraum (Default: 7 Tage). Späte Consumer kkThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →önnen die Historie erneut abspielen. Das unterscheidet sich von einer Message Queue, in der konsumierte Nachrichten gelöscht werden.

LinkedIn, wo Kafka erfunden wurde, verarbeitet damit über eine Billion Events pro Tag. Uber, Netflix und Airbnb bewegen jeweils hunderte Milliarden Events täglich durch Kafka-Cluster.

Stream Processing: Apache Flink und Spark Streaming

Events aus Kafka zu konsumieren ist eine Sache. Sie in Echtzeit zu enrichen, zu joinen, zu aggregieren und darauf zu reagieren, verlangt Stream Processing.

Apache Flink ist die dominierende Stream-Processing-Engine. Sie verarbeitet Events mit Latenzen unter einer Sekunde, unterstützt stateful Computations (laufende Summen, Session Windows) und geht sauber mit verspätet eintreffenden Daten um.

Apache Spark Structured Streaming ist der Spark-native Ansatz, vertraut für Teams, die Spark bereits im Batch einsetzen. Micro-Batch (nahezu Echtzeit) wird nativ unterstützt, echtes Streaming mit höherer Komplexität.

Beispiel-Use-Case: Eine Streaming-PipelinePipelineAll active sales opportunities across the stages of the sales process, together with their combined potential value and probability of closing.Vollständige Definition ansehen → für Fraud Detection in Echtzeit:

1. Kafka konsumiert Purchase-Events aus dem Checkout-Service

2. Flink enricht jedes Event mit der Kundenhistorie (aus einem Feature StoreFeature StoreA centralised repository managing ML features, ensuring consistency between training and serving environments.Vollständige Definition ansehen → abgerufen)

3. Flink wendet das Fraud-Scoring-Modell an (unter 100 ms)

4. Liegt der Score über dem Threshold, wird das Event an das Topic "flagged-transactions" publiziert

5. Ein nachgelagerter Service löst eine manuelle Prüfung oder eine Kartensperre aus

Der gesamte Ablauf vom Purchase-Event bis zum Fraud-Flag dauert unter 500 ms.

Wann Streaming sich lohnt (und wann nicht)

Streaming-Infrastruktur ist deutlich komplexer zu bauen und zu betreiben als Batch. Bevor Sie sich festlegen:

Echtzeit lohnt sich, wenn:

• Geschäftsentscheidungen mit Datenlatenz stark an Wert verlieren (Fraud, Live-Personalisierung)
• Operative Prozesse den aktuellen Zustand brauchen (Bestand, Logistik)
• Kundenseitige Features von Echtzeitdaten abhängen

Batch genügt, wenn:

• Analytische Workloads keine aktuellen Daten brauchen (Wochenreports, Monatsmodelle)
• Eine Latenz von einigen Stunden akzeptabel ist
• Die Streaming-Expertise im Team begrenzt ist

Die Streaming-Steuer, zusätzliche Engineering-Komplexität, Betriebsaufwand, schwierigeres Debugging, ist real. Zahlen Sie sie nur, wenn der Business Value es rechtfertigt.

Quiz Questions

1. Quelle est la principale différence entre le streaming et le batch processing ?

A) Le streaming est toujours plus coûteux

B) Le streaming traite des événements continus avec une faible latence, le batch traite des datasets bornés à intervalles planifiés

C) Le batch ne peut pas gérer de grandes quantités de données

D) Le streaming nécessite obligatoirement Apache Kafka

Réponse: B

2. Dans l'architecture Kafka, qu'est-ce qu'un "topic" ?

A) Un type de message d'erreur

B) Un canal logique auquel les producteurs publient des événements et que les consommateurs lisent

C) Une base de données de streaming

D) Un outil de monitoring

Réponse: B

3. Pour quel cas d'usage le streaming en temps réel est-il absolument nécessaire par rapport au batch ?

A) Rapports hebdomadaires de revenus

B) Modèles de prévision mensuels

C) Détection de fraude en temps réel lors des transactions

D) Consolidation des données comptables

Réponse: C