Bias in AI: woher er kommt und warum er zählt

# Bias in AI: woher ererThe ratio of interactions (likes, comments, shares) to reach for a given piece of content, used to gauge how well audiences respond relative to how many people saw it.Vollständige Definition ansehen → kommt und warum ererThe ratio of interactions (likes, comments, shares) to reach for a given piece of content, used to gauge how well audiences respond relative to how many people saw it.Vollständige Definition ansehen → zählt

Um 2014 baute Amazon ein KI-Tool zum Screening von Bewerbungen. Es sollte Top-Kandidaten automatisch erkennen. Stattdessen brachte es sich selbst bei, Lebensläufe mit dem Wort „women's“ abzuwerten (etwa in „women's chess club captain“) und Absolventinnen zweier reiner Frauen-Colleges herunterzustufen. Amazon stellte das Projekt ein.

Das Tool war nicht darauf programmiert, sexistisch zu sein. Niemand hat eine Regel geschrieben, die sagt: „Bevorzuge Männer.“ Woher kam der Bias also? Genau darum geht es in dieser Lektion.

Warum das Amazon-Tool scheiterte

Das Tool lernte aus zehn Jahren früherer Bewerbungen und Einstellungsentscheidungen bei Amazon. Die meisten dieser Einstellungen waren in einer männerdominierten Tech-Branche Männer.

Die KI tat genau das, wofür sie gebaut war: Muster in vergangenen Daten finden und wiederholen. Das Muster, das sie fand, lautete: „Erfolgreiche Kandidaten sehen aus wie die Männer, die wir bereits eingestellt haben.“ Also schrieb sie dieses Muster fort.

Das ist der Kern: Bias in KI ist meist ein Spiegelbild des Bias in den Trainingsdaten, kein Fehler im Code.

> Trainingsdaten: der riesige Stapel an Beispielen (Texte, Bilder, Entscheidungen), den eine KI studiert, um zu lernen, wie sie antworten soll. Ein Modell kann nur aus dem lernen, was ihm gezeigt wird.

Die drei Stellen, an denen Bias eindringt

Bias kommt nicht von einer einzigen Stelle. ErErThe ratio of interactions (likes, comments, shares) to reach for a given piece of content, used to gauge how well audiences respond relative to how many people saw it.Vollständige Definition ansehen → schleicht sich in drei Hauptphasen ein.

1. Die Daten

Heutige Large Language Models (die KI hinter ChatGPT, Claude und Gemini) lernen aus enormen Teilen des Internets: Websites, Bücher, Foren, Social Media. Das Internet überrepräsentiert manche Stimmen und unterrepräsentiert andere.

Konkretes Beispiel: Bitten Sie ein älteres Bildmodell um „ein Foto eines CEO“, und Sie erhalten oft weiße Männer in Anzügen. Bitten Sie um „eine Pflegekraft“, und Sie erhalten oft Frauen. Das Modell gibt wieder, wie diese Rollen online erscheinen, nicht die Realität.

> Large Language Model (LLM): eine KI, die mit riesigen Textmengen trainiert wurde, um Sprache vorherzusagen und zu erzeugen. Sie „weiß“ keine Fakten; sie sagt wahrscheinliche Wörter auf Basis von Mustern voraus.

2. Das Labeling und Tuning

Nach dem Rohtraining helfen Menschen, das Verhalten des Modells zu formen, indem sie Antworten bewerten und Beispiele für „gute“ Antworten schreiben. Diese Menschen bringen ihre eigenen Annahmen mit, und die Anweisungen, denen sie folgen, spiegeln Entscheidungen eines Unternehmens. Was als „höflich“, „professionell“ oder „angemessen“ gilt, ist eine Ermessensfrage, und Einschätzungen unterscheiden sich je nach Kultur.

3. Ihr Prompt

Sie kkThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →önnen Bias selbst einbringen. Ein Prompt wie „Schreibe eine Geschichte über einen brillanten Wissenschaftler und sein Labor“ hat schon vorausgesetzt, dass der Wissenschaftler männlich ist. Das Modell folgt in der Regel Ihrer Vorgabe.

Wie sich Bias in echten Outputs zeigt

Bias ist oft subtil. Hier sind Muster, auf die Sie achten sollten.

Stereotype Defaults. Probieren Sie das in einem beliebigen Chatbot:

> „Schreibe eine kurze Geschichte über einen Arzt und eine Pflegekraft beim Mittagessen.“

Achten Sie darauf, wer „ererThe ratio of interactions (likes, comments, shares) to reach for a given piece of content, used to gauge how well audiences respond relative to how many people saw it.Vollständige Definition ansehen →“ und wer „sie“ genannt wird, wenn Sie es nicht vorgegeben haben. Viele Modelle setzen noch standardmäßig einen männlichen Arzt und eine weibliche Pflegekraft.

Ungleiche Qualität über Sprachen oder Namen hinweg. Modelle schreiben oft flüssiger auf Englisch als etwa auf Swahili oder Bengali, einfach weil es mehr englische Trainingsdaten gab. Auch mit westlichen Namen gehen sie oft souveräner um als mit nicht-westlichen.

Verzerrte Empfehlungen. Fragen Sie nach den „10 größten Philosophen“ oder „wesentlichen Büchern zu Leadership“, und die Liste fällt oft westlich und männlich aus. Das Modell spiegelt, was online am häufigsten zitiert wird, nicht ein objektives Ranking.

Unterschiede im Sentiment. Ältere Sentiment-Tools bewerteten Sätze mit bestimmten Identitätsbegriffen oder Dialekten manchmal als „negativer“, auch wenn der Inhalt neutral war.

Sie kkThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →önnen das direkt überprüfen. Hier ist ein kleines Experiment, das Sie mit einer APIAPIApplication Programming Interface: a standardised interface that lets applications communicate and exchange data without knowing each other's internal workings.Vollständige Definition ansehen → laufen lassen kkThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →önnen, um Default-Annahmen im Größeren zu testen:

# Test gender defaults by running the same neutral prompt many times
from openai import OpenAI
client = OpenAI()

prompt = "Describe a successful software engineer in one sentence. Use a pronoun."

for i in range(5):
    response = client.chat.completions.create(
        model="gpt-4o-mini",
        messages=[{"role": "user", "content": prompt}],
    )
    print(response.choices[0].message.content)

Lassen Sie das laufen und zählen Sie, wie oft Sie „he“ statt „she“ erhalten. Eine Schieflage zeigt Ihnen den Default des Modells, und Defaults sind der Ort, an dem sich Bias versteckt.

Warum das wirklich zählt

Das ist kein akademisches Thema. Verzerrte KI verursacht echten Schaden, wenn sie Entscheidungen über Menschen trifft oder beeinflusst.

• Recruiting: Ein Screening-Tool filtert qualifizierte Kandidaten heraus, so wie das von Amazon.
• Kredite und Wohnen: Ein KI-Scoring-System benachteiligt Antragsteller aus bestimmten Wohngegenden oder mit bestimmtem Hintergrund.
• Gesundheitswesen: Eine viel zitierte Studie von 2019 in *Science* fand, dass ein medizinischer Algorithmus, der bei Millionen Patienten eingesetzt wurde, schwarzen Patienten niedrigere Risikoscores gab als gleich kranken weißen Patienten, weil ererThe ratio of interactions (likes, comments, shares) to reach for a given piece of content, used to gauge how well audiences respond relative to how many people saw it.Vollständige Definition ansehen → vergangene Gesundheitsausgaben als Proxy für Bedarf nutzte und für schwarze Patienten historisch weniger Geld ausgegeben worden war.
• Alltägliche Inhalte: Marketingtexte, Bilder und Empfehlungen, die ganze Gruppen stillschweigend ausschließen oder stereotypisieren.

Das Muster ist immer gleich: Die KI wirkt neutral und objektiv, was ihren Bias gefährlicher macht. Menschen vertrauen einer Zahl oder einer „datengetriebenen“ Antwort mehr als einem Menschen, der dieselbe Einschätzung abgibt.

Was Sie dagegen tun kkThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →önnen

Sie sind hier nicht machtlos. Die meisten Leser dieses Kurses sind *Nutzer* von KI, nicht ihre Entwickler, und Nutzer haben echten Hebel.

Behandeln Sie KI-Output als Entwurf, nicht als Urteil

Lassen Sie ein Modell niemals allein eine endgültige Entscheidung über einen Menschen treffen. Nutzen Sie es zum Entwerfen, Brainstormen oder Zusammenfassen und wenden Sie dann menschliches Urteilsvermögen an. Wenn Sie Kandidaten screenen, Bewerbungen bewerten oder Menschen in irgendeiner Form beurteilen, bleibt ein Mensch für das Ergebnis verantwortlich.

Schreiben Sie Prompts, die dem Default entgegenwirken

Seien Sie explizit, statt das Modell raten zu lassen. Vergleichen Sie:

> Schwach: „Schreibe eine Geschichte über eine Pflegekraft.“

> Besser: „Schreibe eine Geschichte über eine Pflegekraft. Die Pflegekraft ist ein Mann namens David.“

Bei breiten Anfragen fragen Sie Bandbreite direkt ab:

> „Liste 10 einflussreiche Ökonomen auf. Nimm Personen aus verschiedenen Ländern, Geschlechtern und Zeiträumen auf.“

Prüfen Sie Outputs mit einem schnellen Gegentest

Tauschen Sie ein Detail aus und sehen Sie, ob sich die Antwort ändert, obwohl sie das nicht sollte. Beispiel: Lassen Sie das Modell zwei identische Anschreiben bewerten, bei denen der einzige Unterschied der Name ist (einer stereotyp männlich, einer weiblich, oder unterschiedliche ethnische Hintergründe). Wenn die Assessments abweichen, haben Sie Bias gefunden.

names = ["Greg Mueller", "Lakisha Washington"]
letter = "I have 5 years of experience leading marketing teams..."

for name in names:
    prompt = f"Rate this candidate from 1-10 based on their note.\nName: {name}\nNote: {letter}"
    response = client.chat.completions.create(
        model="gpt-4o-mini",
        messages=[{"role": "user", "content": prompt}],
    )
    print(name, "->", response.choices[0].message.content)

Identische Anschreiben sollten identische Scores bekommen. Falls nicht, nutzen Sie dieses Modell für diese Aufgabe nicht.

Bauen Sie Guardrails in Ihre Instruktionen ein

Wenn Sie einen Custom GPT, ein Claude Project oder ein Gemini Gem einrichten, nehmen Sie eine Zeile in die Instruktionen auf wie: „Nimm kein Geschlecht, keine Ethnie und kein Alter an, sofern nicht angegeben. Vermeide Stereotype. Wenn du Beispiele für Personen auflistest, nimm eine vielfältige Bandbreite auf.“ Das beeinflusst jede Antwort, nicht nur eine.

Wissen Sie: Neuere Modelle sind besser, nicht fehlerfrei

In den 2025-2026-Versionen von ChatGPT, Claude und Gemini wurde viel Arbeit zur Bias-Reduktion geleistet. Sie verweigern oft stereotype Framings oder ergänzen einen ausgleichenden Hinweis. Das ist Fortschritt. Es ist keine Garantie. Manchmal überkorrigiert der „Fix“ auf seltsame Weise. Prüfen Sie weiter, statt dem Label „responsible AI“ zu vertrauen.

Ein kurzer Realitätscheck zu „neutral“

Es gibt kein perfekt neutrales Modell, genauso wie es keine perfekt neutrale Zeitung und keinen perfekt neutralen Lehrer gibt. Jeder Datensatz spiegelt eine Zeit, einen Ort und eine Reihe von Entscheidungen. Das Ziel ist keine wie von Zauberhand unvoreingenommene KI. Das Ziel ist, KI mit offenen Augen zu nutzen: zu wissen, dass sie tendiert, zu wissen wohin, und ihre Arbeit dort zu prüfen, wo viel auf dem Spiel steht.

Die eigentliche Lehre des Amazon-Tools ist nicht „KI ist schlecht“. Sie ist, dass eine KI, die selbstbewusst die Vergangenheit wiederholt, die Ungerechtigkeit der Vergangenheit stillschweigend in die Zukunft trägt, sofern kein Mensch aufpasst.

Key Takeaways

• Bias kommt aus Daten, nicht aus Bosheit. Modelle kopieren Muster in ihren Trainingsdaten, inklusive der Schieflagen des Internets und der historischen Ungleichheiten der Gesellschaft.
• Achten Sie auf versteckte Defaults. Nicht spezifizierte Ärzte werden „ererThe ratio of interactions (likes, comments, shares) to reach for a given piece of content, used to gauge how well audiences respond relative to how many people saw it.Vollständige Definition ansehen →“, Listen der „Größten“ fallen westlich und männlich aus. Seien Sie in Ihren Prompts explizit, um dem entgegenzuwirken.
• Lassen Sie KI niemals allein über einen Menschen entscheiden. Nutzen Sie sie als Entwurfswerkzeug bei allem, was Recruiting, Kredite, Gesundheit oder Bewertung betrifft, und halten Sie einen Menschen in der Verantwortung.
• Machen Sie einen Gegentest. Tauschen Sie einen Namen oder ein Geschlecht in einem ansonsten identischen Prompt. Ändert sich die Antwort, ist das Modell für diese Aufgabe verzerrt.
• Bauen Sie Guardrails in Ihr Setup ein. Ergänzen Sie Anti-Stereotyp-Anweisungen in Ihren Custom GPTs, Claude Projects und Gemini Gems, damit jede Antwort beeinflusst wird, nicht nur eine.