Bias in KI: woher er kommt und warum er zählt

Um 2014 baute Amazon ein KI-Tool zum Screening von Lebensläufen. Es sollte Top-Kandidaten automatisch erkennen. Stattdessen brachte es sich selbst bei, Lebensläufe mit dem Wort „women's" (wie in „women's chess club captain") abzustrafen, und stufte Absolventinnen zweier reiner Frauen-Colleges herab. Amazon stellte das Projekt ein.

Das Tool war nicht darauf programmiert, sexistisch zu sein. Niemand hatte eine Regel geschrieben, die sagte „bevorzuge Männer". Woher kam der Bias also? Genau darum geht es in dieser Lektion.

Warum das Amazon-Tool scheiterte

Das Tool lernte aus zehn Jahren Lebensläufen und Einstellungsentscheidungen bei Amazon. Die meisten dieser Einstellungen waren in einer männerdominierten Tech-Branche Männer.

Die KI tat genau das, wofür sie gebaut wurde: Muster in vergangenen Daten finden und wiederholen. Das Muster, das sie fand, lautete „erfolgreiche Kandidaten sehen aus wie die Männer, die wir schon eingestellt haben". Also schrieb sie dieses Muster fort.

Das ist der Kerngedanke: Bias in KI ist meist ein Spiegelbild des Bias in den Trainingsdaten, kein Fehler im Code.

Trainingsdaten: der riesige Stapel an Beispielen (Text, Bilder, Entscheidungen), die eine KI studiert, um zu lernen, wie sie antworten soll. Ein Modell kann nur aus dem lernen, was ihm gezeigt wird.

Die drei Stellen, an denen Bias eindringt

Bias kommt nicht aus einer einzigen Ecke. ErErDas Verhältnis von Interaktionen (Likes, Kommentare, Shares) zur Reichweite eines Inhalts. Zeigt, wie stark die Zielgruppe reagiert, gemessen an der Zahl der Personen, die den Inhalt gesehen haben.Vollständige Definition ansehen → schleicht sich an drei Hauptstellen ein.

1. Die Daten

Heutige Large Language Models (die KI hinter ChatGPT, Claude und Gemini) lernen aus enormen Teilen des Internets: Websites, Bücher, Foren, Social Media. Das Internet überrepräsentiert manche Stimmen und unterrepräsentiert andere.

Konkretes Beispiel: Fragen Sie ein älteres Bildmodell nach „einem Foto eines CEO", bekommen Sie oft weiße Männer im Anzug. Fragen Sie nach „einer Pflegekraft", bekommen Sie oft Frauen. Das Modell gibt wieder, wie diese Rollen online erscheinen, nicht die Realität.

Large Language Model (LLM): eine KI, die mit riesigen Textmengen trainiert wurde, um Sprache vorherzusagen und zu erzeugen. Sie „weiß" keine Fakten; sie sagt wahrscheinliche Wörter auf Basis von Mustern voraus.

2. Das Labeling und Tuning

Nach dem Rohtraining formen Menschen das Verhalten des Modells mit, indem sie Antworten bewerten und Beispiele für „gute" Antworten schreiben. Diese Menschen bringen ihre eigenen Annahmen mit, und die Anweisungen, denen sie folgen, spiegeln Entscheidungen eines Unternehmens. Was als „höflich", „professionell" oder „angemessen" gilt, ist eine Ermessensfrage, und Einschätzungen unterscheiden sich je nach Kultur.

3. Ihr Prompt

Sie kkDie durchschnittliche Zahl neuer Nutzer, die jeder bestehende Nutzer über Empfehlungen generiert. Über 1,0 verstärkt sich das Wachstum selbst und wird exponentiell.Vollständige Definition ansehen →önnen Bias selbst einbringen. Ein Prompt wie „Schreibe eine Geschichte über einen brillanten Wissenschaftler und sein Labor" hat bereits angenommen, dass der Wissenschaftler männlich ist. Das Modell folgt in der Regel Ihrer Vorgabe.

Wie Bias in realen Outputs auftaucht

Bias ist oft subtil. Hier sind Muster, auf die Sie achten sollten.

Stereotype Defaults. Probieren Sie das in einem beliebigen Chatbot:

„Schreibe eine kurze Geschichte über einen Arzt und eine Pflegekraft beim Mittagessen."

Achten Sie darauf, wer „er" und wer „sie" genannt wird, wenn Sie es nicht vorgegeben haben. Viele Modelle setzen noch immer standardmäßig einen männlichen Arzt und eine weibliche Pflegekraft.

Ungleiche Qualität über Sprachen oder Namen hinweg. Modelle schreiben oft flüssiger auf Englisch als etwa auf Swahili oder Bengali, einfach weil es mehr englische Trainingsdaten gab. Sie gehen mit westlichen Namen oft auch souveräner um als mit nicht-westlichen.

Verzerrte Empfehlungen. Fragen Sie nach „den 10 größten Philosophen" oder „unverzichtbaren Büchern über Leadership", und die Liste fällt oft westlich und männlich aus. Das Modell spiegelt, was online am häufigsten zitiert wird, nicht ein objektives Ranking.

Unterschiede im Sentiment. Ältere Sentiment-Tools bewerteten Sätze mit bestimmten Identitätsbegriffen oder Dialekten manchmal als „negativer", selbst wenn der Inhalt neutral war.

Sie können das direkt prüfen. Hier ist ein kleines Experiment, das Sie mit einer APIAPIApplication Programming Interface: eine standardisierte Schnittstelle, über die Anwendungen kommunizieren und Daten austauschen, ohne die interne Funktionsweise der jeweils anderen zu kennen.Vollständige Definition ansehen → laufen lassen können, um Default-Annahmen im Maßstab zu testen:

# Test gender defaults by running the same neutral prompt many times
from openai import OpenAI
client = OpenAI()

prompt = "Describe a successful software engineer in one sentence. Use a pronoun."

for i in range(5):
    response = client.chat.completions.create(
        model="gpt-4o-mini",
        messages=[{"role": "user", "content": prompt}],
    )
    print(response.choices[0].message.content)

Lassen Sie das laufen und zählen Sie, wie oft Sie „he" statt „she" erhalten. Eine Schieflage zeigt Ihnen den Default des Modells, und in Defaults versteckt sich Bias.

Warum das tatsächlich zählt

Das ist keine akademische Sorge. Voreingenommene KI verursacht echten Schaden, wenn sie Entscheidungen über Menschen trifft oder beeinflusst.

• Recruiting: ein Screening-Tool filtert qualifizierte Kandidaten heraus, so wie es Amazons Tool tat.
• Kredite und Wohnen: ein KI-Scoring-System benachteiligt Antragsteller aus bestimmten Stadtteilen oder mit bestimmter Herkunft.
• Gesundheitsversorgung: eine viel zitierte Studie von 2019 in *Science* fand, dass ein bei Millionen Patienten eingesetzter medizinischer Algorithmus schwarzen Patienten niedrigere Risikoscores gab als gleich schwer erkrankten weißen Patienten, weil er vergangene Gesundheitsausgaben als Proxy für Bedarf nutzte und historisch weniger Geld für schwarze Patienten ausgegeben worden war.
• Alltägliche Inhalte: Marketingtexte, Bilder und Empfehlungen, die ganze Gruppen unauffällig ausschließen oder in Stereotype pressen.

Das Muster ist konsistent: Die KI wirkt neutral und objektiv, was ihren Bias gefährlicher macht. Menschen vertrauen einer Zahl oder einer „datengetriebenen" Antwort mehr als einer Person, die dasselbe entscheidet.

Was Sie dagegen tun können

Sie sind hier nicht machtlos. Die meisten Leser dieses Kurses sind *Nutzer* von KI, nicht Entwickler, und Nutzer haben echten Hebel.

Behandeln Sie KI-Output als Entwurf, nicht als Urteil

Lassen Sie ein Modell niemals allein eine endgültige Entscheidung über einen Menschen treffen. Nutzen Sie es, um zu entwerfen, zu brainstormen oder zusammenzufassen, und legen Sie dann menschliches Urteilsvermögen darauf. Wenn Sie Kandidaten screenen, Bewerbungen bewerten oder Menschen in irgendeiner Form beurteilen, bleibt ein Mensch für das Ergebnis verantwortlich.

Schreiben Sie Prompts, die dem Default entgegenwirken

Seien Sie explizit, statt das Modell raten zu lassen. Vergleichen Sie:

Schwach: „Schreibe eine Geschichte über eine Pflegekraft."

Besser: „Schreibe eine Geschichte über eine Pflegekraft. Die Pflegekraft ist ein Mann namens David."

Bei breiten Anfragen fragen Sie direkt nach Bandbreite:

„Liste 10 einflussreiche Ökonomen auf. Nimm Personen aus verschiedenen Ländern, Geschlechtern und Epochen auf."

Prüfen Sie Outputs mit einem schnellen Gegentest

Tauschen Sie ein Detail aus und schauen Sie, ob sich die Antwort ändert, wo sie es nicht sollte. Beispiel: Bitten Sie das Modell, zwei identische Anschreiben zu bewerten, bei denen sich nur der Name unterscheidet (einer stereotyp männlich, einer weiblich, oder mit unterschiedlichem ethnischem Hintergrund). Unterscheiden sich die Bewertungen, haben Sie Bias gefunden.

names = ["Greg Mueller", "Lakisha Washington"]
letter = "I have 5 years of experience leading marketing teams..."

for name in names:
    prompt = f"Rate this candidate from 1-10 based on their note.\nName: {name}\nNote: {letter}"
    response = client.chat.completions.create(
        model="gpt-4o-mini",
        messages=[{"role": "user", "content": prompt}],
    )
    print(name, "->", response.choices[0].message.content)

Identische Anschreiben sollten identische Scores bekommen. Wenn nicht, verwenden Sie dieses Modell für diese Aufgabe nicht.

Bauen Sie GuardrailsGuardrailsRegeln und Kontrollen, die ein KI-System in sicheren, rechtskonformen und markengerechten Grenzen halten und unerwünschte Ausgaben blockieren.Vollständige Definition ansehen → in Ihre Instructions ein

Wenn Sie einen Custom GPT, ein Claude Project oder ein Gemini Gem einrichten, nehmen Sie eine Zeile in die Instructions auf, etwa: „Nimm kein Geschlecht, keine Ethnie und kein Alter an, sofern nicht angegeben. Vermeide Stereotype. Wenn du Beispiele von Personen aufzählst, nimm eine breite Bandbreite auf." Das beeinflusst jede Antwort, nicht nur eine.

Wissen Sie, dass neuere Modelle besser sind, nicht fehlerfrei

In die Versionen 2025-2026 von ChatGPT, Claude und Gemini ist viel Arbeit zur Bias-Reduktion geflossen. Sie verweigern oft stereotype Rahmungen oder fügen eine ausgleichende Anmerkung hinzu. Das ist Fortschritt. Es ist keine Garantie. Manchmal überkorrigiert der „Fix" auf seltsame Weise. Prüfen Sie weiter, statt dem Label „responsible AI" zu vertrauen.

Ein kurzer Realitätscheck zu „neutral"

Es gibt kein perfekt neutrales Modell, genauso wie es keine perfekt neutrale Zeitung und keine perfekt neutrale Lehrkraft gibt. Jeder Datensatz spiegelt eine Zeit, einen Ort und eine Reihe von Entscheidungen. Das Ziel ist keine auf magische Weise vorurteilsfreie KI. Das Ziel ist, KI mit offenen Augen zu nutzen: zu wissen, dass sie eine Neigung hat, zu wissen wohin, und ihre Arbeit dort zu prüfen, wo viel auf dem Spiel steht.

Die eigentliche Lehre aus dem Amazon-Tool ist nicht „KI ist schlecht". Sie lautet: Eine KI, die die Vergangenheit selbstsicher wiederholt, trägt die Ungerechtigkeit der Vergangenheit unauffällig in die Zukunft, solange kein Mensch aufpasst.

Wichtigste Erkenntnisse

• Bias kommt aus Daten, nicht aus böser Absicht. Modelle kopieren Muster in ihren Trainingsdaten, einschließlich der Schieflagen des Internets und der historischen Ungleichheiten der Gesellschaft.
• Achten Sie auf versteckte Defaults. Nicht näher bestimmte Ärzte werden „er", Listen der „Größten" fallen westlich und männlich aus. Seien Sie in Ihren Prompts explizit, um dem entgegenzuwirken.
• Lassen Sie KI niemals allein über einen Menschen entscheiden. Nutzen Sie sie als Entwurfswerkzeug für alles, was mit Recruiting, Kredit, Gesundheit oder Beurteilung zu tun hat, und halten Sie einen Menschen in der Verantwortung.
• Machen Sie einen Gegentest. Tauschen Sie einen Namen oder ein Geschlecht in einem ansonsten identischen Prompt. Ändert sich die Antwort, ist das Modell für diese Aufgabe voreingenommen.
• Bauen Sie Guardrails in Ihr Setup ein. Fügen Sie Anti-Stereotyp-Anweisungen zu Ihren Custom GPTs, Claude Projects und Gemini Gems hinzu, damit jede Antwort beeinflusst wird, nicht nur eine.