Mesurer les résultats quand les services ne paient qu'après des années

# Mesurer les résultats quand les services ne paient qu'après des années

Un programme de formation professionnelle diplôme 500 personnes en juin. En août, le directeur de l'agence se présente devant une commission budgétaire et se voit poser une question brutale : « Est-ce que ça a marché ? » La réponse honnête, c'est que personne ne le sait encore. Les salaires, le maintien en emploi et la baisse du recours aux prestations sociales apparaissent sur deux à quatre ans, pas sur deux mois. Mais le cycle budgétaire n'attend pas.

Cet écart, entre le moment où vous dépensez l'argent et celui où le résultat apparaît, est le problème central de la mesure dans le secteur public. Cette leçon montre comment mesurer honnêtement à l'intérieur de cet écart.

Pourquoi la mesure des résultats est difficile ici

En entreprise, on voit souvent les résultats vite : une vente se conclut, un client churn, le chiffre d'affaires tombe ce trimestre. Les programmes publics sont différents, pour trois raisons.

Un délai long. La formation professionnelle, l'éducation de la petite enfance et les programmes de réinsertion produisent leurs effets sur plusieurs années. Les études de suivi Perry Preschool de 2011 ont suivi les participants jusqu'à la quarantaine.

L'attribution est floue. Un stagiaire a trouvé un emploi. Est-ce grâce à votre programme, à la vigueur du marché du travail local, ou à sa propre débrouillardise ? Il faut séparer votre effet de tout le reste.

La pression politique pour paraître efficace tout de suite. Les auditions récompensent l'activité visible. Cette pression pousse les agences vers des vanity metrics, des chiffres impressionnants qui ne prouvent aucun impact.

Vanity metrics contre métriques de résultat

Une vanity metric est un chiffre qui augmente quand vous travaillez davantage, mais qui ne dit pas si la situation de quelqu'un s'est améliorée.

Comparez les deux :

| Vanity metric (activité) | Métrique de résultat (impact) |

|---|---|

| Personnes inscrites | Personnes en emploi 12 mois plus tard |

| Heures de formation dispensées | Gain salarial par rapport à avant le programme |

| Certificats délivrés | Maintien dans l'emploi à 2 ans |

| Ateliers organisés | Baisse du recours à l'aide sociale |

La règle pratique : si la métrique mesure ce que *vous* avez fait, c'est un output. Si elle mesure ce qui *a changé pour le participant*, c'est un résultat.

Les outputs ne sont pas inutiles. Ils indiquent que le programme tourne. Mais devant une commission budgétaire, « nous avons dispensé 40 000 heures de formation » appelle la réponse « et alors ? ». Il faut relier cette activité à un résultat.

Le logic model : la colonne vertébrale de votre mesure

Un logic model est un schémamaUtiliser un logiciel pour automatiser les tâches et campagnes marketing répétitives, afin de personnaliser à grande échelle sur des canaux comme l'email, le web et le social.Voir la définition complète → simple qui relie ce que vous investissez à ce que vous attendez comme changement. Il vous oblige à énoncer vos hypothèses à voix haute, ce qui est exactement ce que veulent voir les auditeurs et les élus.

La chaîne standard :

Inputs → Activités → Outputs → Résultats → Impact

Pour notre programme de formation professionnelle :

• Inputs : financement, formateurs, programme pédagogique, entreprises partenaires
• Activités : recruter les participants, dispenser 12 semaines de formation en soudure
• Outputs : 500 personnes formées, 450 certifiées
• Résultats (court et moyen terme) : 350 personnes en emploi sous 6 mois, hausse de salaire d'un montant donné, maintien en emploi à 12 et 24 mois
• Impact (long terme) : gain durable de revenu du ménage, baisse du recours aux prestations sociales

Le logic model fait deux choses. Il vous dit *quoi* mesurer à chaque étape. Et il vous permet de communiquer les signaux précoces (outputs, résultats de court terme) tout en qualifiant honnêtement l'impact de long terme de « à confirmer ».

Le W.K. Kellogg Foundation Logic Model Development Guide est un modèle gratuit et largement utilisé si vous voulez en construire un.

🎬 [VIDEO: "Logic Models: The Foundation for Program Evaluation" - youtube.com - une démonstration claire de la construction d'un logic model, des inputs à l'impact]

Le contrefactuel : l'idée la plus difficile et la plus importante

Voici la question qui sépare l'évaluation réelle du vœu pieux : par rapport à quoi ?

Supposons que 70 % de vos diplômés soient en emploi un an plus tard. Ça sonne bien. Mais si 65 % de personnes similaires n'ayant jamais suivi votre programme trouvaient aussi un emploi, parce que l'économie locale était en pleine expansion ? Alors votre effet réel n'est que de 5 points de pourcentage, pas de 70.

Le contrefactuel est ce qui se serait produit sans votre programme. Vous ne pouvez jamais l'observer directement pour les mêmes personnes, donc vous l'estimez à l'aide d'un groupe de comparaison : des personnes semblables à vos participants qui n'ont pas reçu le service.

Comment construire un groupe de comparaison

Essai randomisé contrôlé (RCT). Affectez aléatoirement les candidats éligibles au programme ou à une liste d'attente. C'est l'étalon-or, parce que la randomisation rend les deux groupes statistiquement similaires. C'est souvent faisable quand la demande dépasse le nombre de places, ce qui est courant dans les programmes publics.

Comparaison par appariement. Quand vous ne pouvez pas randomiser, trouvez des non-participants qui ressemblent à vos participants en âge, revenus antérieurs, niveau d'études et localisation. Des méthodes statistiques d'appariement les associent.

Régression sur discontinuité. Si l'éligibilité dépend d'un seuil (par exemple un plafond de revenu), comparez les personnes juste au-dessus et juste en dessous de la ligne. Elles sont quasi identiques, à l'accès au programme près.

L'objectif n'est pas de mamaUtiliser un logiciel pour automatiser les tâches et campagnes marketing répétitives, afin de personnaliser à grande échelle sur des canaux comme l'email, le web et le social.Voir la définition complète →îtriser les statistiques. C'est de pouvoir dire, en audition : « nous avons comparé nos stagiaires à un groupe similaire non formé, et nos participants ont gagné davantage ». Cette phrase résiste à l'examen. « Nos stagiaires s'en sont très bien sortis » non.

Un exemple chiffré simple

Disons que vous disposez des résultats des participants et d'un groupe de comparaison apparié. Un calcul de base en différence de différences compare l'*évolution* de chaque groupe, pas seulement le niveau final. Cela neutralise la tendance économique générale qui a touché tout le monde.

                     Before    After     Change
Program group        $18,000   $30,000   +$12,000
Comparison group     $18,000   $25,000   +$7,000

Program effect = $12,000 - $7,000 = $5,000 per participant

Le gain de 7 000 $ du groupe de comparaison reflète l'amélioration du marché de l'emploi. Seuls les 5 000 $ supplémentaires sont plausiblement attribuables à votre programme. Annoncer les 12 000 $ complets serait malhonnête, et un auditeur affûté le repérerait.

Multipliez ces 5 000 $ par 350 participants en emploi et vous obtenez un chiffre d'impact défendable. Rapprochez-le du coût du programme et vous pouvez discuter du coût par dollar de gain salarial, ce qui est ce que veut réellement une commission budgétaire.

Mesurer dans l'écart : quoi communiquer avant que le résultat n'arrive

Il vous reste cette audition d'août, des années avant que les données salariales n'arrivent à maturité. Voici comment rendre compte honnêtement sans temporiser.

Utilisez des indicateurs avancés. Ce sont des signaux précoces et mesurables qui prédisent de façon fiable les résultats ultérieurs. La recherche sur les programmes d'emploi relie systématiquement le placement rapide et le maintien en emploi au premier trimestre aux revenus de plus long terme. Donc annoncer « 80 % placés sous 90 jours, 90 % encore en emploi au premier trimestre » a du sens, parce que ces métriques préfigurent le résultat qui vous intéresse.

Fixez des jalons échelonnés. Dites-le d'emblée aux parties prenantes : outputs à 3 mois, résultats de court terme à 12 mois, évaluation d'impact à 36 mois. Cela transforme « on ne sait pas encore » en « nous sommes dans les délais ».

Soyez explicite sur ce qui est confirmé et ce qui est projeté. Présentez l'impact de long terme projeté comme une estimation fondée sur des cohortes antérieures ou sur des travaux publiés. Ne présentez jamais une projection comme un résultat mesuré.

Reliez tôt les données administratives. Beaucoup d'agences peuvent apparier les dossiers des participants aux données salariales de l'assurance chômage de l'État, mises à jour chaque trimestre. C'est bien plus rapide et moins coûteux que des enquêtes, et c'est une colonne vertébrale classique de l'évaluation des programmes d'emploi.

Survivre à l'audit

Les auditeurs ne cherchent pas à vous piéger. Ils vérifient si vos affirmations correspondent à vos preuves. Trois habitudes vous protègent :

Documentez vos méthodes avant de collecter les données. Écrivez à l'avance votre logic model, vos définitions de résultats et votre approche de groupe de comparaison. Choisir ses métriques après avoir vu les résultats s'appelle du « cherry-picking » et détruit la crcrLe pourcentage de visiteurs ou de prospects qui réalisent une action attendue (achat, inscription, formulaire de contact), calculé en divisant les conversions par le nombre total d'opportunités.Voir la définition complète →édibilité.

Définissez les termes avec précision. « En emploi » demande une définition : n'importe quel emploi, 30 heures et plus, ou au-dessus d'un salaire plancher ? Les auditeurs poseront la question.

Tenez une piste de données propre. Consignez qui a été servi, quand, et comment vous avez rattaché ces personnes aux résultats. Si vous ne pouvez pas reproduire un chiffre, considérez qu'il n'existe pas.

À retenir

• Distinguez les outputs des résultats. Les heures dispensées et les personnes inscrites prouvent l'activité, pas l'impact. Reliez toujours l'activité à un changement dans la vie des participants.
• Construisez d'abord un logic model. Il vous dit quoi mesurer à chaque étape et vous permet de communiquer les signaux précoces tout en signalant honnêtement que l'impact de long terme est en attente.
• Posez toujours la question « par rapport à quoi ? » Un taux de réussite brut ne veut rien dire sans contrefactuel. Utilisez un groupe de comparaison, idéalement par randomisation ou appariement.
• Communiquez des indicateurs avancés dans l'écart. Le placement rapide et le maintien en emploi préfigurent les revenus de long terme : vous pouvez donc montrer des progrès des années avant le résultat final sans gonfler vos affirmations.
• Pré-spécifiez et documentez tout. Définissez les termes, verrouillez les méthodes avant de collecter les données et conservez une piste reproductible. C'est ce qui permet à vos chiffres de résister aux audits comme aux commissions budgétaires.