Benchmarker la maturité data face à des juridictions comparables

Le CIO d'une ville américaine de taille moyenne (environ 250 000 habitants) ouvre son auto-évaluation : « nous avons un portail open data, un chief data officer et quelques dashboards. » Ça semble solide. Puis quelqu'un compare ces éléments à cinq villes comparables via un index public de maturité data. Cette ville arrive dernière sur la gouvernance des données et avant-dernière sur la capacité des équipes. Les dashboards masquaient des fondations bien plus faibles. C'est là toute la valeur du benchmarking : il transforme une vague impressionimpressionLe nombre total de fois qu'une publicité ou un contenu est affiché, indépendamment des clics. Chaque affichage compte pour une impression, même auprès de la même personne.Voir la définition complète → de « on s'en sort » en un score précis et comparable.

Pourquoi le benchmarking vaut mieux que l'auto-évaluation

L'auto-évaluation est biaisée par nature. Chaque département estime que ses pratiques data sont « plutôt bonnes » faute de point de référence externe. Le benchmarking corrige cela en notant les juridictions selon une grille commune, puis en comparant.

Deux frameworks connus :

• GovEx Open Data Maturity Model (du Center for Government Excellence de Johns Hopkins), utilisé par les villes du réseau What Works Cities.
• Les data capacity assessments de l'Urban Institute, qui examinent le partage de données entre agences, les effectifs analytics et l'usage de la data dans les décisions budgétaires.

Les deux frameworks notent une juridiction sur plusieurs dimensions plutôt que de donner une note globale. C'est le choix de conception déterminant : un score agrégé masque précisément le point faible que vous cherchez.

Les données qui comptent : ce qui est noté

Les index de maturité n'évaluent pas une « culture data » abstraite. Ils notent des artefacts et des processus concrets. Dimensions typiques :

1. Inventaire et catalogage des données

La ville sait-elle quels jeux de données elle détient ? Un data catalogdata catalogUn inventaire centralisé des actifs de données d'une organisation, enrichi de métadonnées, qui aide chacun à trouver, comprendre et faire confiance aux données dont il a besoin.Voir la définition complète → (inventaire consultable des jeux de données avec descriptions, propriétaires et fréquence de mise à jour) constitue la base. Beaucoup de villes échouent d'abord ici : personne ne peut lister l'ensemble des jeux de données détenus par les différents départements.

2. Publication en open data

Nombre et qualité des jeux de données sur un portail open data (par exemple ceux de Chicago, San Francisco ou le portail Open Data de New York). La qualité compte plus que le volume : un jeu de données mis à jour pour la dernière fois en 2019 vous pénalise même s'il est techniquement « publié ».

3. Structure de gouvernance des données

Existe-t-il un rôle de Chief Data Officer (CDO), un comité de gouvernance des données et des accords de partage de données documentés entre départements (par exemple entre la police et la santé publique) ? Une gouvernance sans propriétaire nommément responsable survit rarement aux coupes budgétaires.

4. Gestion de la qualité des données

Des standards documentés d'exactitude, de complétude et de fraîcheur. Exemple : les données du 311 (demandes de service non urgentes) sont-elles contrôlées pour les doublons et l'exactitude des adresses avant d'arriver sur un dashboard public ?

5. Capacité analytics et effectifs

Nombre d'ETP (équivalents temps plein) affectés à l'analyse de données par rapport à la saisie de données. Une ville avec 3 analystes data pour 100 000 habitants est structurellement différente d'une ville qui en compte 0,3.

6. Usage dans la prise de décision

La data est-elle réellement utilisée lors des arbitrages budgétaires, des revues de performance ou de la refonte des services, ou dort-elle dans un PDF que personne ne lit après publication ?

Le choix des pairs : l'étape que la plupart des villes ratent

Comparer une ville de 200 000 habitants à New York ne sert à rien : échelle budgétaire différente, profondeur d'équipe différente. Les groupes de pairs doivent correspondre sur :

• La tranche de population (par exemple 150 000 à 400 000)
• Le contexte métropolitain/régional (cœur urbain vs. périurbain)
• La structure de gouvernement (council-manager vs. strong mayor, ce qui détermine qui contrôle les budgets IT)
• Une capacité fiscale comparable

L'International City/County Management Association (ICMA) et les données Government Finance and Employment du U.S. Census Bureau sont des sources courantes pour construire un panel de pairs défendable. Ratez cette étape et toutes les comparaisons suivantes ne sont que du bruit.

Un exemple chiffré : noter trois dimensions

Supposons qu'une ville s'auto-évalue sur une échelle de maturité simplifiée de 0 à 4 (0 = aucune pratique, 4 = bonne pratique institutionnalisée) sur trois dimensions, comparées à la médiane de quatre villes pairs :

La moyenne composite (1 + 2 + équivalent ramené de 0,8) peut sembler « moyenne » au premier coup d'œil. Mais la moyenne masque l'histoire : cette ville est à peu près au niveau sur la gouvernance, mais accuse deux niveaux de maturité complets de retard sur le catalogage et fonctionne à environ 38 % de la capacité en effectifs de ses pairs (0,8 / 2,1 ≈ 0,38). C'est cet écart d'effectifs qui constitue le constat actionnable, pas le score composite.

C'est la leçon centrale : ne remontez jamais un score de maturité unique et agrégé aux décideurs. Montrez toujours la décomposition par dimension. Un score composite de « 2,3 sur 4, légèrement sous la moyenne des pairs » n'appelle aucune action. Un écart d'effectifs de 62 % ouvre une conversation budgétaire.

Les métriques de gouvernance qui signalent une vraie maturité

Au-delà des scores d'index eux-mêmes, quelques métriques de gouvernance méritent un suivi indépendant car elles prédisent la maturité future :

• Taux de fraîcheur des jeux de données : % de jeux de données publiés mis à jour dans le calendrier annoncé. En dessous de 70 %, c'est un signal d'alerte courant dans les programmes open data sous-dotés.
• Nombre d'accords de partage de données : nombre d'accords interagences actifs et documentés (par exemple le service logement partageant les données d'expulsion avec la santé publique). Zéro ou un est typique des villes peu matures ; cinq ou plus signale une collaboration institutionnalisée.
• Ancienneté et rattachement hiérarchique du CDO : un CDO rattaché directement au city manager ou au cabinet du maire dispose généralement d'une autorité plus durable qu'un CDO enfoui trois niveaux plus bas dans la DSI.

Une requête simple que les analystes lancent souvent en interne pour vérifier la fraîcheur (à partir du champ de dernière mise à jour d'un export de catalogue) :

import pandas as pd
from datetime import datetime

catalog = pd.read_csv("open_data_catalog.csv")
catalog["last_updated"] = pd.to_datetime(catalog["last_updated"])
catalog["days_stale"] = (datetime.now() - catalog["last_updated"]).dt.days

stale_pct = (catalog["days_stale"] > 365).mean() * 100
print(f"Datasets stale over 1 year: {stale_pct:.1f}%")

C'est le type de contrôle qu'une équipe de gouvernance des données devrait exécuter chaque trimestre, pas découvrir lors d'un audit externe.

Benchmarks analytics et mesure

Une fois les bases de gouvernance posées, le benchmarking se déplace vers les résultats : la data améliore-t-elle réellement les services ?

Benchmarks courants utilisés dans le processus de certification What Works Cities (standard américain reconnu pour les pratiques data des villes) :

• % de décisions budgétaires citant des données de performance : les villes matures visent plus de 50 % sur les grandes lignes budgétaires de programmes.
• Délai de traitement des demandes d'accès aux documents publics : sous les lois d'accès aux documents publics des États (variables selon l'État ; par exemple le Public Records Act californien, le Texas Public Information Act), le délai de réponse est une métrique mesurable et comparable entre juridictions.
• Analytics d'usage des dashboards : pages vues et visites répétées sur les dashboards publics, proxy pour savoir si les habitants et les élus utilisent réellement les données publiées ou si elles n'existent que pour la conformité.

En Europe, le point de référence équivalent est constitué par les rapports de maturité open data du European Data Portal, qui notent chaque année les États membres de l'UE sur la politique data, la qualité du portail, l'impact et les dimensions qualité, selon un étagement similaire de 0 à 4 environ (méthodologie résumée sur data.europa.eu). Des pays comme l'Irlande et la France se classent régulièrement dans le premier tier lors des dernières éditions (consultez le rapport de l'année en cours pour les classements exacts, qui évoluent chaque année).

🎬 [VIDEO: "What Works Cities: Data-DrivenData-DrivenUne approche où les décisions s'appuient systématiquement sur l'analyse de données plutôt que sur la seule intuition.Voir la définition complète → Government" - youtube.com/@BloombergCities - exemples de villes américaines de taille moyenne utilisant des évaluations de maturité data pour repenser leurs services]

Points clés

• Benchmarkez face à un groupe de pairs comparable (population, structure de gouvernement, capacité fiscale), pas face à la ville la plus grande ou la plus citée.
• Utilisez des frameworks établis (GovEx, Urban Institute, What Works Cities, European Data Portal) plutôt que d'inventer une grille interne de zéro.
• Ne présentez jamais un score de maturité composite unique à la direction ; décomposez-le par dimension (catalogage, gouvernance, effectifs, usage) pour que l'écart actionnable soit visible.
• Associez les scores d'index à des métriques de gouvernance concrètes : taux de fraîcheur des jeux de données, nombre d'accords de partage de données actifs, rattachement hiérarchique du CDO.
• Vérifiez si la data change réellement les décisions (citations dans les budgets, refontes de services), pas seulement si elle est publiée : publier sans usage est un faux signal de maturité fréquent.