+65 XP

Modèles en production : drift, monitoring et MLOps

Les modèles prédictifs en production ne sont pas un déploiement ponctuel, c'est un système vivant qui demande un entretien continu. Un modèle performant au lancement se dégradera avec le temps. Le monde change. Les comportements clients évoluent. Les fonctionnalités produit évoluent. La distribution des données sur laquelle le modèle a été entraîné s'écarte de celle qu'il rencontre en production.

C'est ce qu'on appelle le model drift. Il est inévitable. Le gérer est une discipline opérationnelle.

Les types de model drift

Data drift (covariate shift) : la distribution statistique des features d'entrée change. Un modèle de détection de fraude entraîné sur les schémas d'achat de 2020 rencontre les comportements de 2024. Le modèle « fonctionne » toujours mécaniquement, mais ses prédictions reposent sur des patterns qui ne tiennent plus.

Concept drift : la relation entre les features et la cible change. Un modèle de pricing entraîné quand les taux d'intérêt étaient à 2 % affronte un monde où les taux sont à 5 %. Les relations apprises par le modèle ne sont plus correctes.

Label drift : la définition de la variable cible change. Si la « conversion » a été redéfinie pour exclure les conversions d'essai qui ne s'activent pas sous 48 heures, tous les labels historiques deviennent incohérents avec la nouvelle définition.

Chacun demande des approches de détection et de remédiation différentes.

Machine Learning Model Monitoring in Production

Watch on YouTube

Vérification des acquis

1. Un modèle de détection de fraude a été entraîné sur les schémas d'achat de 2020 et traite désormais les transactions de 2024. Les distributions des features d'entrée ont changé, mais la relation sous-jacente entre les features et la fraude reste la même. De quel type de drift s'agit-il ?

2. Pourquoi la leçon décrit-elle un modèle en production comme un « système vivant » plutôt qu'un déploiement ponctuel ?

3. Un modèle de pricing entraîné quand les taux d'intérêt étaient à 2 % opère désormais dans un environnement à 5 %, et ses relations apprises entre features et prix ne sont plus correctes. Cela illustre surtout :

CHOIX MULTIPLES

4. Sélectionnez TOUTES les affirmations correctes sur le monitoring de la performance d'un modèle en production.

Sélectionnez toutes les réponses correctes.

CHOIX MULTIPLES

5. Sélectionnez TOUTES les affirmations qui décrivent correctement la différence entre le monitoring des sorties et le monitoring de l'impact business.

Sélectionnez toutes les réponses correctes.

Monitorer les modèles en production

Un modèle en production doit être monitoré en continu sur plusieurs dimensions :

Monitoring des entrées : les distributions des features d'entrée sont-elles stables ? Déclencher une alerte quand les features dérivent au-delà des bornes historiques (via des tests statistiques comme le KS-test ou le PSI, Population Stability Index).

Monitoring des sorties : la distribution des prédictions est-elle stable ? Un modèle de churn qui prédit soudain 80 % de churn pour tous les clients alors qu'il prédisait 15 % auparavant signale un problème.

Monitoring de la performance : le modèle est-il toujours précis face aux résultats connus ? Cela exige des données labellisées : vous devez savoir ce qui s'est réellement passé (le client a-t-il churné ?) pour évaluer la prédiction (le modèle avait-il raison ?). D'où un délai de labellisation : impossible d'évaluer des prédictions de fraude avant de savoir quelles transactions étaient effectivement frauduleuses.

Monitoring de l'impact business : les métriques business en aval que le modèle est censé améliorer évoluent-elles toujours dans le bon sens ? La précision du modèle est un proxy, l'impact business est l'objectif réel.

La stratégie de réentraînement

Quand le monitoring détecte un drift significatif, le modèle doit être réentraîné. Mais la stratégie de réentraînement compte :

Réentraînement planifié : réentraîner selon un calendrier fixe (hebdomadaire, mensuel) indépendamment des signaux de drift. Simple, prévisible, mais potentiellement inutile (réentraîner sans nécessité) ou trop lent (attendre l'échéance alors que le drift est significatif).

Réentraînement déclenché : réentraîner quand le monitoring détecte un drift au-delà d'un seuil. Plus efficace, mais exige une détection de drift robuste et des pipelines de réentraînement automatisés.

Online learning : mettre à jour le modèle en continu à mesure que de nouvelles données labellisées arrivent. Complexité maximale, mais adapté aux applications à haute vélocité (optimisation d'enchères publicitaires, personnalisation en temps réel).

La plupart des systèmes ML en production utilisent le réentraînement planifié par simplicité, avec un monitoring manuel du drift. Le réentraînement déclenché exige une maturité MLOps.

MLOps : la couche opérationnelle

Le MLOps (ML Operations) est l'ensemble des pratiques qui rendent les modèles ML fiables et scalables en production.

Les capacités MLOps essentielles :

  • Model registry : stockage versionné des modèles entraînés avec leurs métadonnées (données d'entraînement, hyperparamètres, métriques de performance)
  • CI/CD pour les modèles : pipelines automatisés de test et de déploiement pour les mises à jour de modèles
  • Feature store : repository centralisé des features utilisées par plusieurs modèles, garantissant la cohérence entre l'entraînement et le serving
  • Model serving : infrastructure pour servir les prédictions à l'échelle avec une faible latence
  • Monitoring et alerting : suivi continu de la performance avec alertes automatiques sur le drift

Outils : MLflow (open-source, model registry + experiment tracking), Weights & Biases (experiment tracking), Kubeflow (MLOps natif Kubernetes), Vertex AI (MLOps managé Google), SageMaker (MLOps managé AWS).

Questions du quiz

  1. Qu'est-ce que le "concept drift" dans un modèle ML en production ?

A) Les données d'entrée changent de distribution

B) La relation entre les features et la variable cible change (ex: un modèle de pricing formé à 2% de taux d'intérêt face à un monde à 5%)

C) Le modèle consomme trop de mémoire

D) Les prédictions du modèle deviennent plus lentes

Réponse: B

  1. Qu'est-ce qu'un "Feature Store" dans l'architecture MLOps ?

A) Un outil de monitoring de modèles

B) Un repository centralisé de features utilisées par plusieurs modèles, garantissant la cohérence entre l'entraînement et le serving

C) Une base de données de stockage de modèles entraînés

D) Un outil d'A/B testing pour les modèles ML

Réponse: B

  1. Quelle stratégie de réentraînement est la plus complexe mais appropriée pour les applications à haute vélocité ?

A) Réentraînement planifié (hebdomadaire)

B) Réentraînement déclenché par détection de drift

C) Online learning (mise à jour continue)

D) Réentraînement manuel

Réponse: C

Questions fréquentes

Qu'est-ce que le model drift et pourquoi se produit-il ?

Le model drift désigne la dégradation des performances d'un modèle prédictif une fois en production, parce que les données qu'il reçoit s'éloignent de celles sur lesquelles il a été entraîné. Le comportement des clients évolue, les fonctionnalités produit changent, les conditions de marché bougent. Un modèle de détection de fraude entraîné sur les habitudes d'achat de 2020 se retrouve face à des comportements de 2024 qui ne correspondent plus. Le drift est inévitable : le gérer relève d'une discipline opérationnelle, pas d'un bug qu'on corrige une fois pour toutes.

Quelle différence entre data drift et concept drift ?

Le data drift (covariate shift) signifie que la distribution statistique des features en entrée change alors que les relations sous-jacentes restent valables. Le concept drift signifie que la relation entre les features et la variable cible change elle-même, comme pour un modèle de pricing entraîné quand les taux d'intérêt étaient à 2 % et qui opère désormais à 5 %. La distinction compte parce que la détection et la correction diffèrent : le data drift apparaît dans le monitoring des entrées, le concept drift ne se révèle qu'en comparant les prédictions aux résultats réels.

Que faut-il monitorer sur un modèle de machine learning en production ?

Quatre dimensions : les distributions des features en entrée, les distributions des prédictions, la précision par rapport aux résultats connus et les indicateurs business en aval. Un modèle de churn qui prédit soudain 80 % de churn alors qu'il en prédisait 15 % signale un problème rien qu'au niveau du monitoring des sorties. Le suivi de l'impact business est le plus important, car la précision du modèle n'est qu'un proxy du résultat que vous cherchez réellement.

Comment détecter statistiquement le data drift ?

Comparez la distribution actuelle de chaque feature en entrée à sa référence historique et déclenchez une alerte quand l'écart dépasse un seuil. Les deux tests habituels sont le test de Kolmogorov-Smirnov et le Population Stability Index (PSI). La même logique s'applique à la distribution des sorties du modèle, souvent le signal d'alerte le plus rapide.

Réentraînement planifié ou réentraînement déclenché : lequel choisir ?

Le réentraînement planifié (hebdomadaire, mensuel) est simple et prévisible, mais il peut être inutile en l'absence de drift, ou trop lent quand le drift est fort. Le réentraînement déclenché ne se lance que lorsque le monitoring franchit un seuil de drift : c'est plus efficace, mais cela exige une détection de drift fiable et des pipelines automatisés. La plupart des systèmes en production commencent par un réentraînement planifié avec un monitoring manuel du drift ; le réentraînement déclenché suppose une vraie maturité MLOps. L'online learning, qui met à jour le modèle en continu, convient aux cas à forte vélocité comme l'optimisation des enchères publicitaires ou la personnalisation en temps réel.

Qu'apporte un feature store qu'un model registry n'apporte pas ?

Un model registry stocke les modèles entraînés versionnés avec leurs métadonnées : données d'entraînement, hyperparamètres, métriques de performance. Un feature store centralise les features utilisées par plusieurs modèles et garantit que le même calcul est appliqué à l'entraînement et au serving, ce qui supprime une source classique d'erreurs silencieuses en production. Les deux sont des composants MLOps standards, aux côtés du CI/CD pour les modèles, du model serving et du monitoring. MLflow couvre le registry et le suivi des expérimentations ; Kubeflow, Vertex AI et SageMaker couvrent des plateformes MLOps plus larges.

À faire, tiré de cette leçon

Ces actions sont compilées dans le plan d'action du rôle.

  • Surveiller les modèles en production sur les couches input, prédiction et performance, avec des owners nommés
Voir le plan d'action complet →

Articles liés

Les articles récents du blog qui s'appuient sur cette leçon.