Model Evaluation
Auch: Model Assessment, AI Model Evaluation, Model Validation, Évaluation de modèle, Modellbewertung, Modell-Evaluierung, Model Benchmarking
Der Prozess, der misst, ob ein KI-Modell gut und sicher genug für die vorgesehene Geschäftsentscheidung arbeitet.
Was es ist
Model Evaluation ist die disziplinierte Prüfung, wie gut ein KI- oder statistisches Modell seine Aufgabe erfüllt, vor und nach dem Produktivbetrieb. Es beantwortet eine Frage: können wir diesem Modell genug vertrauen, um auf seinen Ergebnissen zu handeln? Ein Modell, das abwanderungsgefährdete Kunden markiert, ein Preismodell, ein Sprachmodell, das Kunden-E-Mails entwirft: jedes wird an Belegen gemessen, nicht am Versprechen des Anbieters. Die Bewertung vergleicht die Vorhersagen des Modells mit bekannten korrekten Ergebnissen und beziffert die Lücke.
Warum es wichtig ist
Ein Modell, das in der Demo beeindruckt, kann bei Ihren echten Daten still versagen, und die Kosten trägt das Geschäft, nicht das Datenteam. Ein Kreditmodell, das insgesamt präzise, aber für ein Kundensegment falsch ist, erzeugt zugleich Umsatzverlust und regulatorisches Risiko. Für einen CFO trennt die Bewertung eine belastbare Prognose für das Board von einer Vermutung. Für einen CMO entscheidet sie, ob ein Lead-Scoring-Modell das Werbebudget wert ist, das es umlenkt. Die Bewertung deckt auch Verzerrungen, Drift (das Modell verschlechtert sich, weil sich die Welt ändert) und Halluzinationen generativer Werkzeuge auf. Wer sie überspringt, erfährt vom Scheitern durch Kunden oder eine Aufsichtsbehörde.
Wie es funktioniert
Das Team hält einen Teil der Daten zurück, den das Modell im Training nie gesehen hat, und testet das Modell darauf. Die Ergebnisse kommen als Kennzahlen: Genauigkeit, Präzision, Trefferquote, Fehlerraten, oder bei Sprachmodellen Bewertungen anhand kuratierter Fragensätze und menschlicher Prüfung. Die richtige Kennzahl hängt von den geschäftlichen Kosten eines Fehlers ab, daher muss die Führungskraft sagen, welcher Fehler am meisten schmerzt. Einen Betrugsfall zu übersehen und einen treuen Kunden zu markieren sind keine gleichwertigen Fehler. Die Bewertung läuft nach dem Start durch Monitoring weiter, da die Leistung mit der Zeit abnimmt. In der Praxis fragt ein CDO vor der Freigabe dreierlei: wogegen wurde es getestet, wie verhält es sich bei unserem schlechtesten Segment, und woran erkennen wir, dass es nicht mehr funktioniert.
Häufige Fragen
Was ist Model Evaluation?
Model Evaluation ist die systematische Prüfung, wie gut ein KI- oder statistisches Modell seine Aufgabe erfüllt, vor und nach dem Go-live. Sie vergleicht die Vorhersagen oder Antworten des Modells mit bekannten korrekten Ergebnissen und weist die Abweichung in Zahlen aus: accuracy, precision, recall, Fehlerraten oder bei Sprachmodellen Scores auf kuratierten Fragensets. Die eine Frage, die sie beantwortet, lautet: Können Sie dem Modell so weit vertrauen, dass Sie auf Basis seiner Outputs handeln?
Warum sollte sich ein CFO oder CMO selbst mit Model Evaluation befassen, statt sie dem Data-Team zu überlassen?
Weil die Kosten eines versagenden Modells beim Business landen, nicht beim Data-Team. Für einen CFO trennt die Evaluation einen Forecast, den Sie in ein Board Pack aufnehmen können, von einer Schätzung. Für einen CMO entscheidet sie, ob ein Lead-Scoring-Modell das Werbebudget verdient, das es umlenkt. Ein Modell, das in der Demo überzeugt, kann auf Ihren echten Daten unbemerkt scheitern, und Sie erfahren es dann von Kunden oder einer Aufsichtsbehörde.
Was ist der Unterschied zwischen Model Evaluation und Model Monitoring?
Die Evaluation misst die Performance vor der Freigabe anhand zurückgehaltener Daten, das Monitoring verfolgt diese Performance nach dem Launch. Sie brauchen beides, weil Modelle an Qualität verlieren: Die Welt verändert sich, und das Modell entfernt sich von der Realität, auf der es trainiert wurde. Der häufigste Fehler ist, die Evaluation als einmalige Hürde beim Go-live zu behandeln.
Wie wählt man die richtige Metrik zur Evaluation eines Modells?
Gehen Sie von den geschäftlichen Kosten eines Fehlers aus, nicht vom Katalog der Metriken. Einen Betrugsfall zu übersehen und einen treuen Kunden fälschlich zu markieren, sind keine gleichwertigen Fehler. Deshalb haben accuracy, precision und recall unterschiedliches Gewicht, je nachdem, welcher Fehler am meisten schadet. Diesen Trade-off festzulegen, ist Aufgabe der Führungskraft, nicht des Data Scientists.
Was sollte ein CDO fragen, bevor er ein Modell für die Produktion freigibt?
Drei Fragen: Woran wurde das Modell getestet, wie schneidet es im ungünstigsten Segment ab, und woran merken wir, wenn es nicht mehr funktioniert? Die zweite Frage ist für das Risiko am wichtigsten. Ein Kreditmodell, das insgesamt genau ist, aber bei einem Kundensegment falsch liegt, verursacht entgangenen Umsatz und regulatorisches Risiko zugleich. In der Evaluation zeigen sich auch Bias, Drift und Halluzinationen bei generativen Tools.