Warum KI-Regulierung heute die Konditionen für SaaS-Verträge bestimmt

# Warum KI-Regulierung heute die Konditionen für SaaS-Verträge bestimmt

Ein Einkaufsleiter bei einem mittelgroßen Versicherer öffnet Anfang 2026 einen Vendor-Security-Fragebogen und findet einen neuen Abschnitt: „Enthält Ihr Produkt ein KI-Modell mit allgemeinem Verwendungszweck? Wenn ja, nennen Sie den Anbieter, dessen Risikoklassifizierung nach dem EU AI Act und legen Sie Ihre aktuelle Model Card bei.“ Vor drei Jahren gab es diese Frage nicht. Heute kann sie einen sechsstelligen Deal wochenlang blockieren.

Das ist die neue Realität für SaaS-Anbieter (Software as a Service): KI-Regulierung ist kein nachgelagertes Compliance-Thema mehr, sie taucht Zeile für Zeile in Data Processing Agreements (DPAs) und Vendor-Risk-Fragebögen auf, und sie verschiebt die Frage, wer haftet, wenn ein eingebettetes Modell etwas falsch macht.

Der regulatorische Hintergrund, kurz gefasst

Zwei Regelwerke sind derzeit am wichtigsten.

Der EU AI Act (2024 in Kraft getreten, Pflichten treten gestaffelt bis 2026-2027 in Kraft) ist das erste umfassende KI-Gesetz einer großen Jurisdiktion. ErErThe ratio of interactions (likes, comments, shares) to reach for a given piece of content, used to gauge how well audiences respond relative to how many people saw it.Vollständige Definition ansehen → teilt KI-Systeme in Risikostufen ein:

• Unannehmbares Risiko: vollständig verboten (z. B. Social Scoring, bestimmte biometrische Kategorisierung).
• Hohes Risiko: strenge Pflichten (Konformitätsbewertungen, technische Dokumentation, menschliche Aufsicht). Dazu zählen Anwendungsfälle wie KI im Recruiting, Credit Scoring oder Medizinprodukte.
• Begrenztes Risiko: Transparenzpflichten (z. B. Offenlegung, dass Inhalte KI-generiert sind).
• Minimales Risiko: weitgehend unreguliert (die meisten Chatbots, Spamfilter).

Entscheidend ist: Der AI Act schafft auch Regeln für General-Purpose-AI-Modelle (GPAI) (die Foundation Models hinter Tools wie GPT-4, Claude oder Gemini), mit zusätzlichen Pflichten für Modelle, denen auf Basis von Compute-Schwellenwerten ein „systemisches Risiko“ zugeschrieben wird. Quelle: Zusammenfassung des offiziellen EU-AI-Act-Texts, Europäische Kommission.

In den USA gibt es Stand 2026 kein einheitliches Bundesgesetz zu KI. Stattdessen entsteht ein Flickenteppich aus Regeln der Bundesstaaten: Colorados AI Act (mit Fokus auf automatisierte Entscheidungssysteme mit hohem Risiko), Kaliforniens diverse Regeln zu KI-Transparenz und automatisierter Entscheidungsfindung sowie sektorspezifische Leitlinien von Behörden wie der FTC (Federal Trade Commission) zu irreführenden KI-Aussagen. Diese Fragmentierung ist selbst eine Compliance-Last: Ein SaaS-Anbieter, der landesweit verkauft, braucht möglicherweise von Bundesstaat zu Bundesstaat unterschiedliche Offenlegungen.

Wie sich das in konkreten Verträgen niederschlägt

Enterprise-KKThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →äufer, besonders in regulierten Branchen (Banken, Versicherungen, Gesundheitswesen), drücken inzwischen KI-spezifische Klauseln in DPAs und Master Service Agreements. Häufige Ergänzungen 2026:

• Offenlegung der Modellherkunft: Nennung des zugrunde liegenden Modellanbieters (OpenAI, Anthropic, Google, Mistral oder ein Open-Weight-Modell, das der Anbieter selbst hostet).
• Attestierung der Risikostufe: eine schriftliche Erklärung, in welche Stufe des EU AI Act das eingebettete KI-Feature fällt, selbst bei Kunden ausschließlich in den USA, weil viele Enterprise-KKThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →äufer global arbeiten.
• Recht auf Audit oder Anforderung von Model Cards: Dokumentation zur Herkunft der Trainingsdaten, bekannten Grenzen und Evaluationsergebnissen.
• Beschränkungen von Datenflüssen: Verbot, Kundendaten zum Training des zugrunde liegenden Foundation Models zu verwenden, oder Nachweis eines Opt-out.
• Haftungsverteilung: Wer ist verantwortlich, wenn das KI-Feature eine diskriminierende Empfehlung im Recruiting oder eine halluzinierte Compliance-Antwort produziert, der SaaS-Anbieter oder der vorgelagerte Modellanbieter?

An diesem letzten Punkt werden die meisten Anbieter auf dem falschen Fuß erwischt.

Was ein Anbieter mit der Einbettung eines Drittmodells tatsächlich übernimmt

Wenn Ihr SaaS-Produkt eine APIAPIApplication Programming Interface: a standardised interface that lets applications communicate and exchange data without knowing each other's internal workings.Vollständige Definition ansehen → von OpenAI oder Anthropic aufruft, um ein „Smart Summarize“-Feature zu betreiben, kkThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →önnen Sie nicht sagen „das ist ihr Modell, nicht unser Problem“. Sowohl nach dem EU AI Act als auch nach den meisten Vertragsstandards im Enterprise-Bereich trägt der Betreiber (das Unternehmen, das das KI-System in einen bestimmten Nutzungskontext bringt) reale Pflichten, auch wenn es das zugrunde liegende Modell nicht gebaut hat.

Konkret übernimmt ein SaaS-Unternehmen, das ein Large Language ModelLarge Language ModelA Large Language Model is an AI system trained on vast text data to predict and generate language, enabling tasks like writing, summarizing, and answering questions.Vollständige Definition ansehen → (LLMLLMA Large Language Model is an AI system trained on vast text data to predict and generate language, enabling tasks like writing, summarizing, and answering questions.Vollständige Definition ansehen →) eines Dritten einbettet, typischerweise:

1. Verantwortung für die Klassifizierung: Sie müssen bewerten, ob *Ihr spezifischer Anwendungsfall* (nicht das Basismodell im Abstrakten) in eine Hochrisikokategorie fällt. Ein allgemeiner Chatbot ist geringes Risiko; dasselbe Modell, verdrahtet in ein Feature zum Screening von Bewerbungen, ist nach dem EU AI Act hohes Risiko.

2. Transparenzpflichten: Endnutzern mitteilen, dass sie mit KI-generierten Ausgaben interagieren.

3. Anforderungen an menschliche Aufsicht: bei Hochrisikoanwendungen sicherstellen, dass ein Mensch KI-Ausgaben prüfen und überstimmen kann, bevor folgenreiche Entscheidungen fallen.

4. Data GovernanceData GovernanceData governance is the set of policies, roles, and processes that ensure data is accurate, secure, well-defined, and used responsibly across an organization.Vollständige Definition ansehen →: bestätigen, welche Kundendaten zum Modellanbieter fließen, ob sie gespeichert werden und ob sie für weiteres Training genutzt werden kkThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →önnten.

5. Protokollierung von Vorfällen und Fehlern: zunehmend erwartete Praxis, Aufzeichnungen über Modellfehler oder Overrides führen, nützlich für Audits und für die Nachbereitung von Vorfällen.

Der vorgelagerte Anbieter (OpenAI, Anthropic usw.) behält typischerweise nur Pflichten für das Basismodell selbst (seine eigenen Konformitätsbewertungen als GPAI-Anbieter). Die Betreiberpflichten sind Ihre.

Eine einfache Möglichkeit, das Risiko zu sehen

Ein nützliches mentales Modell, anpassbar als schnelle interne Checkliste:

Feature: "AI resume screener" in an HR SaaS product

1. Underlying model: third-party LLM via API
2. Use case risk tier (EU AI Act): HIGH (employment decision)
3. Obligations triggered:
   - Conformity documentation: REQUIRED
   - Human review before rejection: REQUIRED
   - Bias/accuracy testing on outputs: REQUIRED
   - Transparency notice to candidates: REQUIRED
4. Contract clause needed: liability split with model
   provider for output errors vs. deployment errors

Das ist kein Code, der läuft, sondern die Art strukturierter Risikotriage, die Produkt- und Rechtsteam gemeinsam durchlaufen sollten, bevor ein KI-Feature ausgeliefert wird, und zunehmend, bevor das DPA unterschrieben wird, das das Einkaufsteam eines Kunden mit Redlines zurückschickt.

Warum das selbst für „langweiliges“ SaaS relevant ist

Es ist verlockend zu denken, das gelte nur für offensichtlich sensible Bereiche wie Recruiting oder Kredit. Doch die Pflichten des EU AI Act und die Regeln der US-Bundesstaaten reichen immer weiter in gewöhnliche SaaS-Funktionen hinein: KI-gestützter Kundensupport, der fehlerhafte medizinische oder finanzielle Hinweise geben kkThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →önnte, KI-Terminplanungstools, die indirekt den Zugang zu Leistungen beeinflussen, oder KI-Content-Moderation, die bestimmt, was Nutzer sehen. Die Klassifizierung muss Anwendungsfall für Anwendungsfall erfolgen, nicht Produkt für Produkt.

Wie gute Governance in der Praxis aussieht

Anbieter, die 2026 Enterprise-Deals reibungslos abwickeln, tun meist drei Dinge früh:

• Ein lebendes KI-Inventar führen: jedes Feature, das KI nutzt, welches Modell es antreibt, welche Daten es berührt und seine Risikoklassifizierung. Das wird Security-Fragebögen beigelegt, statt jedes Mal hektisch zusammengesucht zu werden.
• Bedingungen der Modellanbieter vorab verhandeln: vorab wissen, worauf sich OpenAI, Anthropic oder andere Anbieter bei Datenspeicherung und Trainingsnutzung verpflichten, denn Ihr Kundenvertrag kann nicht mehr zusagen, als Ihr vorgelagerter Vertrag erlaubt.
• Einen Human-in-the-Loop-Pfad aufbauen für alles, was Entscheidungen zu Beschäftigung, Kredit, Gesundheit oder Sicherheit berührt, auch wenn das aktuelle Feature wenig folgenreich wirkt, denn eine Neuklassifizierung lässt sich leichter vertreten als das Nachrüsten von Aufsicht nach einem Vorfall.

Für einen praktischen Überblick, wie diese Risikostufen auf Pflichten abbilden, ist das NIST AI Risk Management Framework (USA, freiwillig, aber breit referenziert) eine solide Ergänzung zu den verbindlichen EU-Regeln, nützlich für Anbieter, die einen internen Governance-Prozess aufbauen wollen, der beiden regulatorischen Logiken genügt.

Key Takeaways

• KI-Regulierung ist von der Politikdebatte in die Vertragssprache gewandert: DPAs und Security-Fragebögen fragen inzwischen routinemäßig nach Herkunft eingebetteter Modelle, Risikoklassifizierung und Datenflüssen.
• Die vier Risikostufen des EU AI Act (unannehmbar, hoch, begrenzt, minimal) gelten für konkrete Anwendungsfälle, nicht nur für Modelle im Abstrakten; dasselbe LLMLLMA Large Language Model is an AI system trained on vast text data to predict and generate language, enabling tasks like writing, summarizing, and answering questions.Vollständige Definition ansehen → kann in einem Feature geringes und in einem anderen hohes Risiko sein.
• Die US-Regulierung bleibt über die Bundesstaaten fragmentiert (Colorado, Kalifornien und andere), während die EU einen verbindlichen Rahmen hat, was für Anbieter in beiden Märkten zusätzliche Komplexität schafft.
• Der Einsatz eines Drittmodells verlagert die Verantwortung nicht: SaaS-Anbieter übernehmen Pflichten zu Klassifizierung, Transparenz, menschlicher Aufsicht und Data GovernanceData GovernanceData governance is the set of policies, roles, and processes that ensure data is accurate, secure, well-defined, and used responsibly across an organization.Vollständige Definition ansehen →, auch wenn sie das zugrunde liegende Modell nicht gebaut haben.
• Anbieter, die ein Inventar ihrer KI-Features führen und die Bedingungen vorgelagerter Modelle vorab verhandeln, kommen 2026 schneller durch den Enterprise-Einkauf als solche, die jeden Fragebogen ad hoc bearbeiten.