Generative AI im Unternehmen: RAG, Risiken & Governance
Generative AI hat sich in weniger als zwei Jahren von der Forschungskuriosität zur geschäftlichen Realität entwickelt. Jede große Organisation fragt sich inzwischen: Was bedeutet GenAI für uns? Die Aufgabe des CDO ist es, über den Hype hinauszugehen und Antworten auf Basis einer realen Capability-Bewertung zu liefern, nicht auf Basis von Vendor-Versprechen oder Pressemitteilungen.
Was generative AI tatsächlich kann
Large Language Models (LLMs) werden auf riesigen Textkorpora trainiert, um das nächste Token in einer Sequenz vorherzusagen. Aus diesem einfachen Ziel entsteht eine breite Palette von Fähigkeiten:
Summarization: Lange Dokumente (Verträge, Reports, Studien) zu strukturierten Zusammenfassungen verdichten. Hohe Zuverlässigkeit, unmittelbar einsetzbar.
Classification: Text kategorisieren (Kundenbeschwerden nach Typ, E-Mails nach Priorität, Dokumente nach Thema). Kann mit sorgfältigem PromptingPromptingPrompt Engineering ist die Praxis, Texteingaben so zu gestalten und zu verfeinern, dass große Sprachmodelle präzise, relevante und verlässliche Ergebnisse liefern.Vollständige Definition ansehen → klassisches, fine-getuntes ML erreichen oder übertreffen.
Generation: Erste Entwürfe schreiben (Marketing-Copy, Produktbeschreibungen, Code, E-Mails). Hohes Tempo, schwankende Qualität, bei markensensiblen Inhalten immer mit menschlicher Prüfung.
Extraction: Strukturierte Informationen aus unstrukturiertem Text ziehen (Daten aus Verträgen, Adressen aus E-Mails, klinische Angaben aus Notizen). Hoher Wert in dokumentenlastigen Branchen.
Question Answering (RAG): Fragen beantworten, gestützt auf eine bestimmte Wissensbasis, mit Retrieval-Augmented GenerationRetrieval-Augmented GenerationVerfahren, mit dem ein KI-Modell aus Ihren eigenen Dokumenten antwortet, indem es relevante Passagen abruft, bevor es eine Antwort erzeugt.Vollständige Definition ansehen →. Das Modell ruft relevante Dokumente ab und antwortet auf deren Basis. Ermöglicht Use Cases vom Typ „chat with your documents“.
Code-Generierung: Code schreiben, vervollständigen, reviewen und debuggen. Produktivitätsgewinne von 20-30 % mit GitHub Copilot wurden in kontrollierten Studien bestätigt.
Enterprise GenAI Implementation Guide
Wissenscheck
1. Welche grundlegende Beschränkung von Large Language Models adressiert Retrieval-Augmented Generation (RAG) in erster Linie?
2. Wie lautet in der RAG-Architektur die korrekte Reihenfolge der Schritte, wenn ein Nutzer eine Frage stellt?
3. Woran sollte sich laut Lektion die Bewertung generativer AI-Fähigkeiten durch einen CDO orientieren?
4. Wählen Sie ALLE Aussagen, die die in der Lektion dargestellten Fähigkeiten generativer AI korrekt beschreiben.
Wählen Sie alle richtigen Antworten aus.
5. Wählen Sie ALLE Aufgaben, die die Lektion als Fähigkeiten von Large Language Models benennt.
Wählen Sie alle richtigen Antworten aus.
Die RAG-Architektur
Retrieval-Augmented Generation (RAG) ist das wichtigste GenAI-Muster für Enterprise-Use-Cases. Es löst die grundlegende Beschränkung von LLMs: Das Wissen des Modells ist zum Trainingszeitpunkt festgeschrieben, und es halluziniert, wenn man es nach Informationen fragt, auf die es nicht trainiert wurde.
RAG funktioniert in zwei Schritten:
- Retrieval: Wenn ein Nutzer eine Frage stellt, wird die Wissensbasis nach relevanten Dokumenten/Passagen durchsucht (per Vector Similarity Search)
- Generation: Frage und abgerufene Dokumente werden dem LLMLLMEin Large Language Model ist ein KI-System, das auf riesigen Textmengen trainiert wurde, um Sprache vorherzusagen und zu erzeugen. Damit sind Aufgaben wie Schreiben, Zusammenfassen und Beantworten von Fragen möglich.Vollständige Definition ansehen → als Kontext übergeben; es antwortet auf Basis der bereitgestellten Dokumente
Das Ergebnis: ein Modell, das alles kennt, was in Ihrer Wissensbasis steht, nicht nur das, was in seinen Trainingsdaten war. Aktuell, gestützt auf Ihre spezifischen Informationen, mit Verweisen auf die Quelldokumente.
Use Cases: internes Wissensmanagement (Mitarbeitende fragen HR-Richtlinien, Produktdokumentation, vergangene Projekte ab), Support im Kundenkontakt (Anfragen werden aus Produktdokumentation und FAQs beantwortet), Vertragsprüfung (nicht standardmäßige Klauseln durch Abgleich mit Standardvorlagen markieren).
Das GenAI-Risiko-Framework
Generative AI bringt Risiken mit sich, die es beim klassischen ML nicht gibt:
Hallucination: LLMs generieren falsche Informationen mit großererDas Verhältnis von Interaktionen (Likes, Kommentare, Shares) zur Reichweite eines Inhalts. Zeigt, wie stark die Zielgruppe reagiert, gemessen an der Zahl der Personen, die den Inhalt gesehen haben.Vollständige Definition ansehen → Selbstsicherheit. In einer Anwendung mit Kundenkontakt kkDie durchschnittliche Zahl neuer Nutzer, die jeder bestehende Nutzer über Empfehlungen generiert. Über 1,0 verstärkt sich das Wachstum selbst und wird exponentiell.Vollständige Definition ansehen →önnen halluzinierte rechtliche oder medizinische Informationen Haftung erzeugen. Mitigation: RAG (Antworten in verifizierten Dokumenten verankern), Output-Review bei Anwendungen mit hohem Einsatz, Unsicherheitssignale.
Prompt Injection: Schädliche Eingaben, die darauf ausgelegt sind, die Systemanweisungen zu überschreiben. Beispiel: Ein Nutzer formuliert eine Anfrage so, dass das Modell Content-Filter ignoriert. Mitigation: Input-Validierung, Ausführung in der Sandbox, Defense in Depth.
Data Privacy: Sensible Daten an eine LLM-APIAPIApplication Programming Interface: eine standardisierte Schnittstelle, über die Anwendungen kommunizieren und Daten austauschen, ohne die interne Funktionsweise der jeweils anderen zu kennen.Vollständige Definition ansehen → von Dritten zu senden (OpenAI, Anthropic, Google) bedeutet, dass diese Daten Ihre Umgebung verlassen. Mitigation: privates Deployment (on-premise oder Private Cloud), Anonymisierung der Daten vor API-Aufrufen, DPA-Verträge mit Anbietern.
Bias und Fairness: LLMs übernehmen Bias aus den Trainingsdaten. In HR- oder Kreditanwendungen erzeugen verzerrte Outputs rechtliche Risiken. Mitigation: menschliche Prüfung bei Entscheidungen mit hohem Einsatz, Bias-Audits, vielfältige Evaluationsdatensätze.
Marken- und Reputationsrisiko: GenAI-Anwendungen mit Kundenkontakt können Outputs erzeugen, die korrekt, aber unangemessen sind, oder inkorrekt und schädlich. Mitigation: Output-Filter, menschliche Prüfung, begrenzter Scope beim ersten Rollout.
Ein GenAI-Governance-Framework aufbauen
Ein GenAI-Governance-Framework für das Unternehmen:
Gestufte Deployment-Freigabe: Interne Nutzung mit geringem Risiko (Summarization für Mitarbeitende) → beschleunigte Freigabe. Anwendungen mit Kundenkontakt → vollständige Prüfung inklusive Legal, Compliance und Brand. Entscheidungen mit hohem Einsatz (Kredit, Einstellung, Medizin) → explizite Risikobewertung und regulatorische Prüfung.
Acceptable Use Policy: Wofür dürfen Mitarbeitende GenAI nutzen? Private Geräte oder freigegebene Unternehmenstools? Umgang mit vertraulichen Informationen? Eine Policy, die Mitarbeitende verstehen und befolgen.
Vendor Assessment: Für jede LLM-API prüfen: Wo werden Daten verarbeitet? Wie sind die Aufbewahrungsrichtlinien? Gibt es ein DPA? Ist das Modell auditierbar?
Output-Monitoring: Bei Produktionsanwendungen Output-Qualität, Nutzerzufriedenheit und Fehlerraten laufend überwachen. GenAI-Anwendungen degradieren anders als klassisches ML, meist über Quality Drift, nicht über Accuracy Drift.
Quizfragen
- Qu'est-ce que le RAG (Retrieval-Augmented Generation) permet principalement dans un contexte enterprise ?
A) Il rend les LLMs plus rapides
B) Il permet au LLM de répondre en se basant sur votre base de connaissances spécifique (pas seulement ses données d'entraînement), réduisant les hallucinations
C) Il réduit les coûts d'inférenceinférenceDer Moment, in dem ein trainiertes KI-Modell arbeitet: Es nimmt eine neue Eingabe und erzeugt eine Antwort, Vorhersage oder generierte Ausgabe.Vollständige Definition ansehen → des modèles
D) Il améliore la qualité du code généré
Réponse: B
- Quel est le principal risque du "prompt injection" dans une application GenAI ?
A) Le modèle génère des réponses trop lentes
B) Une entrée malveillante conçue pour contourner les instructions système du modèle, potentiellement désactivant les filtres de contenu
C) Le modèle consomme trop de tokenstokensEin Token ist die grundlegende Texteinheit, die Sprachmodelle verarbeiten, oft ein Wortfragment, ein ganzes Wort oder ein Satzzeichen und nicht ein einzelnes Zeichen.Vollständige Definition ansehen →
D) Les réponses contiennent trop d'hallucinations
Réponse: B
- Dans un framework de gouvernance GenAI par niveaux, quel type d'application nécessite une revue légale et compliance complète ?
A) Résumé de documents internes pour les employés
B) Génération de code pour les développeurs
C) Applications customer-facing et toute décision à enjeux élevés (crédit, embauche, médical)
D) Traduction de documents internes
Réponse: C
Was Sie aus dieser Lektion umsetzen
Diese Maßnahmen sind im Playbook der Rolle zusammengefasst.
- GenAI-Guardrails als gemeinsamen Input-/Output-Service zentralisieren
Verwandte Artikel
Aktuelle Blogartikel, die auf dieser Lektion aufbauen.
- DataOkta hat den Kontext seiner KI-Agenten in dbt Pull Requests verlagert, und falsche Antworten lassen sich jetzt mit einem Merge behebenDie Analytics Engineers von Okta stellten fest, dass ihre KI-Agenten an Kontext scheiterten, den niemand prüfen konnte, obwohl die Modelle selbst einwandfrei funktionierten. Hier lesen Sie, wie sie diesen Kontext als reviewten Code in dbt neu aufgebaut haben, was sich dadurch geändert hat und wie ein CDO denselben Ansatz anwenden kann.
- DataMistrals 3,5-Milliarden-Dollar-Wette und was sie an Ihrer Build-vs-Buy-Entscheidung wirklich ändertMistrals Finanzierungsrunde über 3,5 Milliarden Dollar im September 2026 hat die Argumente für Open-Weight-Modelle als ernsthafte Enterprise-Option neu belebt. Doch die verbreitete Lesart dieser Nachricht, Open-Weight bedeute, Sie sollten selbst bauen, dreht die Entscheidung für die meisten CDOs genau um.
- DataWenn KI-Strategie zur Infrastruktur wird: Was CDOs 2026 verantworten müssenDie meisten Organisationen sind über die Frage hinaus, ob sie in KI investieren sollen. Der eigentliche Druck auf CDOs liegt jetzt darin, zu entscheiden, welche Entscheidungen sie selbst verantworten, welche sie delegieren und wie sie die darunterliegende Dateninfrastruktur aufbauen, die aus KI etwas anderes macht als eine Reihe teurer Experimente.