Wirkung messen, wenn Leistungen sich erst nach Jahren auszahlen

# Wirkung messen, wenn Leistungen sich erst nach Jahren auszahlen

Ein Arbeitsmarktprogramm verabschiedet im Juni 500 Absolventen. Im August steht die Behördenleiterin in einer Haushaltsanhörung und bekommt eine brutale Frage gestellt: „Hat es funktioniert?" Die ehrliche Antwort lautet: Das weiß noch niemand. Löhne, Beschäftigungsdauer und ein geringerer Bezug öffentlicher Leistungen zeigen sich über zwei bis vier Jahre, nicht über zwei Monate. Aber der Haushaltszyklus wartet nicht.

Diese Lücke zwischen dem Zeitpunkt der Ausgabe und dem Zeitpunkt der Wirkung ist das zentrale Messproblem im öffentlichen Sektor. Diese Lektion zeigt Ihnen, wie Sie innerhalb dieser Lücke ehrlich messen.

Warum Wirkungsmessung hier schwierig ist

In der Wirtschaft sehen Sie Ergebnisse oft schnell: ein Abschluss kommt zustande, ein Kunde churnt, Umsatz landet in diesem Quartal. Öffentliche Programme sind aus drei Gründen anders.

Lange Verzögerung. Berufliche Qualifizierung, frühkindliche Bildung und Resozialisierungsprogramme zahlen sich über Jahre aus. Die Perry-Preschool-Nachfolgestudien von 2011 verfolgten Teilnehmende bekanntlich bis in ihre Vierziger.

Die Zurechnung ist unklar. Ein Teilnehmer hat einen Job bekommen. War es Ihr Programm, der starke lokale Arbeitsmarkt oder sein eigener Einsatz? Sie müssen Ihren Effekt von allem anderen trennen.

Politischer Druck, jetzt gut dazustehen. Anhörungen belohnen sichtbare Aktivität. Dieser Druck treibt Behörden zu Vanity Metrics, also Zahlen, die beeindruckend aussehen, aber keine Wirkung belegen.

Vanity Metrics versus Outcome-Metriken

Eine Vanity Metric ist eine Zahl, die steigt, wenn Sie mehr arbeiten, die aber nichts darüber sagt, ob es jemandem besser geht.

Vergleichen Sie beide:

| Vanity Metric (Aktivität) | Outcome-Metrik (Wirkung) |

|---|---|

| Angemeldete Personen | Personen, die 12 Monate später beschäftigt sind |

| Geleistete Schulungsstunden | Lohnzuwachs gegenüber der Zeit vor dem Programm |

| Ausgestellte Zertifikate | Verbleib im Job nach 2 Jahren |

| Durchgeführte Workshops | Geringerer Bezug öffentlicher Unterstützung |

Die Faustregel: Misst die Metrik, was *Sie* getan haben, ist es ein Output. Misst sie, was sich *für die Teilnehmenden verändert hat*, ist es ein Outcome.

Outputs sind nicht nutzlos. Sie zeigen, dass das Programm läuft. Aber in einer Haushaltsanhörung provoziert „wir haben 40.000 Schulungsstunden geliefert" die Rückfrage „und weiter?". Sie müssen diese Aktivität mit einem Ergebnis verbinden.

Das Logic Model: Ihr Messgerüst

Ein Logic Model ist ein einfaches Diagramm, das verbindet, was Sie hineingeben, mit dem, was sich Ihrer Erwartung nach ändern soll. Es zwingt Sie, Ihre Annahmen auszusprechen, und genau das wollen Prüfer und Abgeordnete sehen.

Die Standardkette:

Inputs → Aktivitäten → Outputs → Outcomes → Impact

Für unser Arbeitsmarktprogramm:

• Inputs: Mittel, Lehrkräfte, Curriculum, Arbeitgeberpartner
• Aktivitäten: Teilnehmende gewinnen, 12-wöchige Schweißausbildung durchführen
• Outputs: 500 Personen geschult, 450 zertifiziert
• Outcomes (kurz- und mittelfristig): 350 innerhalb von 6 Monaten beschäftigt, Lohnzuwachs in genannter Höhe, Verbleib nach 12 und 24 Monaten
• Impact (langfristig): dauerhafter Zuwachs des Haushaltseinkommens, geringerer Bezug öffentlicher Leistungen

Das Logic Model leistet zweierlei. Es sagt Ihnen, *was* Sie auf jeder Stufe messen. Und es erlaubt Ihnen, frühe Signale (Outputs, kurzfristige Outcomes) zu berichten und den langfristigen Impact ehrlich als „noch zu bestätigen" zu kennzeichnen.

Der W.K. Kellogg Foundation Logic Model Development Guide ist eine kostenlose, weit verbreitete Vorlage, falls Sie eines aufbauen wollen.

🎬 [VIDEO: „Logic Models: The Foundation for Program Evaluation" - youtube.com - eine klare Anleitung zum Aufbau eines Logic Models von den Inputs bis zum Impact]

Das Kontrafaktische: die schwierigste und wichtigste Idee

Hier ist die Frage, die echte Evaluation von Wunschdenken trennt: verglichen womit?

Angenommen, 70 Prozent Ihrer Absolventen sind ein Jahr später beschäftigt. Klingt gut. Aber was, wenn 65 Prozent vergleichbarer Personen, die nie in Ihr Programm kamen, ebenfalls einen Job gefunden haben, weil die lokale Wirtschaft boomte? Dann liegt Ihr echter Effekt bei nur 5 Prozentpunkten, nicht bei 70.

Das Kontrafaktische ist das, was ohne Ihr Programm passiert wäre. Sie kkDie durchschnittliche Zahl neuer Nutzer, die jeder bestehende Nutzer über Empfehlungen generiert. Über 1,0 verstärkt sich das Wachstum selbst und wird exponentiell.Vollständige Definition ansehen →önnen es bei denselben Personen nie direkt beobachten, also schätzen Sie es über eine Vergleichsgruppe: Personen, die Ihren Teilnehmenden ähneln, die Leistung aber nicht erhalten haben.

Wege, eine Vergleichsgruppe zu bilden

Randomisierte kontrollierte Studie (RCT). Teilen Sie berechtigte Bewerber zufällig dem Programm oder einer Warteliste zu. Das ist der Goldstandard, weil die Randomisierung beide Gruppen statistisch ähnlich macht. Oft ist das machbar, wenn die Nachfrage die Plätze übersteigt, was in öffentlichen Programmen häufig vorkommt.

Matched Comparison. Wenn Sie nicht randomisieren kkDie durchschnittliche Zahl neuer Nutzer, die jeder bestehende Nutzer über Empfehlungen generiert. Über 1,0 verstärkt sich das Wachstum selbst und wird exponentiell.Vollständige Definition ansehen →önnen, suchen Sie Nicht-Teilnehmende, die Ihren Teilnehmenden nach Alter, früherem Einkommen, Bildung und Wohnort ähneln. Statistische Matching-Verfahren bilden Paare.

Regressionsdiskontinuität. Hängt die Berechtigung von einem Schwellenwert ab (etwa einer Einkommensgrenze), vergleichen Sie Personen knapp oberhalb und knapp unterhalb der Linie. Sie sind nahezu identisch, abgesehen vom Programmzugang.

Es geht nicht darum, die Statistik zu beherrschen. Es geht darum, in einer Anhörung sagen zu kkDie durchschnittliche Zahl neuer Nutzer, die jeder bestehende Nutzer über Empfehlungen generiert. Über 1,0 verstärkt sich das Wachstum selbst und wird exponentiell.Vollständige Definition ansehen →önnen: „Wir haben unsere Teilnehmenden mit einer ähnlichen Gruppe ohne Schulung verglichen, und unsere Leute haben mehr verdient." Dieser Satz hält einer Prüfung stand. „Unsere Teilnehmenden waren großartig" nicht.

Ein einfaches Rechenbeispiel

Angenommen, Sie haben Ergebnisse der Teilnehmenden und eine gematchte Vergleichsgruppe. Eine einfache Difference-in-Differences-Rechnung vergleicht die *Veränderung* je Gruppe, nicht nur das Endniveau. Damit kontrollieren Sie den allgemeinen Wirtschaftstrend, der alle betroffen hat.

                     Before    After     Change
Program group        $18,000   $30,000   +$12,000
Comparison group     $18,000   $25,000   +$7,000

Program effect = $12,000 - $7,000 = $5,000 per participant

Der Zuwachs von 7.000 $ in der Vergleichsgruppe spiegelt den sich verbessernden Arbeitsmarkt wider. Nur die zusätzlichen 5.000 $ lassen sich plausibel Ihrem Programm zurechnen. Die vollen 12.000 $ zu berichten wäre unehrlich, und ein aufmerksamer Prüfer würde es bemerken.

Multiplizieren Sie diese 5.000 $ mit 350 beschäftigten Teilnehmenden, und Sie haben eine belastbare Wirkungszahl. Setzen Sie sie in Bezug zu den Programmkosten, und Sie kkDie durchschnittliche Zahl neuer Nutzer, die jeder bestehende Nutzer über Empfehlungen generiert. Über 1,0 verstärkt sich das Wachstum selbst und wird exponentiell.Vollständige Definition ansehen →önnen über Kosten je Dollar Lohnzuwachs sprechen, und genau das will ein Haushaltsausschuss hören.

Messen in der Lücke: was Sie berichten, bevor die Wirkung eintritt

Sie haben immer noch diese Anhörung im August, Jahre bevor die Lohndaten belastbar sind. So berichten Sie ehrlich, ohne sich herauszureden.

Nutzen Sie Frühindikatoren. Das sind frühe, messbare Signale, die spätere Outcomes zuverlässig vorhersagen. Forschung zu Arbeitsmarktprogrammen verknüpft frühe Vermittlung und Verbleib im ersten Quartal durchgängig mit späteren Einkommen. Zu berichten „80 Prozent innerhalb von 90 Tagen vermittelt, 90 Prozent im ersten Quartal noch beschäftigt" ist daher aussagekräftig, weil diese Kennzahlen den Outcome prognostizieren, der Sie interessiert.

Setzen Sie gestufte Meilensteine. Sagen Sie den Stakeholdern von vornherein: Outputs nach 3 Monaten, kurzfristige Outcomes nach 12 Monaten, Wirkungsevaluation nach 36 Monaten. So wird aus „wir wissen es noch nicht" ein „wir sind im Zeitplan".

Machen Sie deutlich, was bestätigt und was prognostiziert ist. Kennzeichnen Sie prognostizierten langfristigen Impact als Schätzung auf Basis früherer Kohorten oder veröffentlichter Forschung. Präsentieren Sie eine Prognose nie als gemessenes Ergebnis.

Verknüpfen Sie Verwaltungsdaten früh. Viele Behörden kkDie durchschnittliche Zahl neuer Nutzer, die jeder bestehende Nutzer über Empfehlungen generiert. Über 1,0 verstärkt sich das Wachstum selbst und wird exponentiell.Vollständige Definition ansehen →önnen Teilnehmerdaten mit den Lohndaten der staatlichen Arbeitslosenversicherung abgleichen, die quartalsweise aktualisiert werden. Das ist deutlich schneller und günstiger als Befragungen und ein gängiges Rückgrat der Arbeitsmarktevaluation.

Die Prüfung überstehen

Prüfer wollen Sie nicht in eine Falle locken. Sie kontrollieren, ob Ihre Aussagen zu Ihren Belegen passen. Drei Gewohnheiten schützen Sie:

Dokumentieren Sie Ihre Methoden, bevor Sie Daten erheben. Halten Sie Ihr Logic Model, Ihre Outcome-Definitionen und Ihren Ansatz zur Vergleichsgruppe vorab schriftlich fest. Metriken erst nach Sicht der Ergebnisse zu wählen, nennt man „Cherry-Picking" und zerstört Ihre Glaubwürdigkeit.

Definieren Sie Begriffe präzise. „Beschäftigt" braucht eine Definition: irgendein Job, mehr als 30 Stunden oder oberhalb einer Lohnuntergrenze? Prüfer werden danach fragen.

Halten Sie eine saubere Datenspur. Erfassen Sie, wer wann betreut wurde und wie Sie diese Personen den Ergebnissen zugeordnet haben. KKDie durchschnittliche Zahl neuer Nutzer, die jeder bestehende Nutzer über Empfehlungen generiert. Über 1,0 verstärkt sich das Wachstum selbst und wird exponentiell.Vollständige Definition ansehen →önnen Sie eine Zahl nicht reproduzieren, behandeln Sie sie, als gäbe es sie nicht.

Die wichtigsten Erkenntnisse

• Trennen Sie Outputs von Outcomes. Geleistete Stunden und Anmeldungen belegen Aktivität, nicht Wirkung. Verbinden Sie Aktivität immer mit einer Veränderung im Leben der Teilnehmenden.
• Bauen Sie zuerst ein Logic Model. Es sagt Ihnen, was Sie auf jeder Stufe messen, und erlaubt Ihnen, frühe Signale zu berichten und den langfristigen Impact ehrlich als offen zu kennzeichnen.
• Fragen Sie immer „verglichen womit?" Eine reine Erfolgsquote ist ohne Kontrafaktisches bedeutungslos. Nutzen Sie eine Vergleichsgruppe, idealerweise über Randomisierung oder Matching.
• Berichten Sie in der Lücke Frühindikatoren. Frühe Vermittlung und Verbleib prognostizieren langfristige Einkommen, also kkDie durchschnittliche Zahl neuer Nutzer, die jeder bestehende Nutzer über Empfehlungen generiert. Über 1,0 verstärkt sich das Wachstum selbst und wird exponentiell.Vollständige Definition ansehen →önnen Sie Fortschritt Jahre vor der endgültigen Wirkung zeigen, ohne zu übertreiben.
• Legen Sie alles vorab fest und dokumentieren Sie es. Definieren Sie Begriffe, fixieren Sie Methoden vor der Datenerhebung und führen Sie eine reproduzierbare Spur. Das lässt Ihre Zahlen sowohl Prüfungen als auch Haushaltsanhörungen überstehen.