Modèles en production : drift, monitoring et MLOps

Les modèles prédictifs en production ne sont pas un déploiement ponctuel, c'est un système vivant qui demande un entretien continu. Un modèle performant au lancement se dégradera avec le temps. Le monde change. Les comportements clients évoluent. Les fonctionnalités produit évoluent. La distribution des données sur laquelle le modèle a été entraîné s'écarte de celle qu'il rencontre en production.

C'est ce qu'on appelle le model drift. Il est inévitable. Le gérer est une discipline opérationnelle.

Les types de model drift

Data drift (covariate shift) : la distribution statistique des features d'entrée change. Un modèle de détection de fraude entraîné sur les schémas d'achat de 2020 rencontre les comportements de 2024. Le modèle « fonctionne » toujours mécaniquement, mais ses prédictions reposent sur des patterns qui ne tiennent plus.

Concept drift : la relation entre les features et la cible change. Un modèle de pricing entraîné quand les taux d'intérêt étaient à 2 % affronte un monde où les taux sont à 5 %. Les relations apprises par le modèle ne sont plus correctes.

Label drift : la définition de la variable cible change. Si la « conversion » a été redéfinie pour exclure les conversions d'essai qui ne s'activent pas sous 48 heures, tous les labels historiques deviennent incohérents avec la nouvelle définition.

Chacun demande des approches de détection et de remédiation différentes.

Monitorer les modèles en production

Un modèle en production doit être monitoré en continu sur plusieurs dimensions :

Monitoring des entrées : les distributions des features d'entrée sont-elles stables ? Déclencher une alerte quand les features dérivent au-delà des bornes historiques (via des tests statistiques comme le KS-test ou le PSI, Population Stability Index).

Monitoring des sorties : la distribution des prédictions est-elle stable ? Un modèle de churn qui prédit soudain 80 % de churn pour tous les clients alors qu'il prédisait 15 % auparavant signale un problème.

Monitoring de la performance : le modèle est-il toujours précis face aux résultats connus ? Cela exige des données labellisées : vous devez savoir ce qui s'est réellement passé (le client a-t-il churné ?) pour évaluer la prédiction (le modèle avait-il raison ?). D'où un délai de labellisation : impossible d'évaluer des prédictions de fraude avant de savoir quelles transactions étaient effectivement frauduleuses.

Monitoring de l'impact business : les métriques business en aval que le modèle est censé améliorer évoluent-elles toujours dans le bon sens ? La précision du modèle est un proxy, l'impact business est l'objectif réel.

La stratégie de réentraînement

Quand le monitoring détecte un drift significatif, le modèle doit être réentraîné. Mais la stratégie de réentraînement compte :

Réentraînement planifié : réentraîner selon un calendrier fixe (hebdomadaire, mensuel) indépendamment des signaux de drift. Simple, prévisible, mais potentiellement inutile (réentraîner sans nécessité) ou trop lent (attendre l'échéance alors que le drift est significatif).

Réentraînement déclenché : réentraîner quand le monitoring détecte un drift au-delà d'un seuil. Plus efficace, mais exige une détection de drift robuste et des pipelines de réentraînement automatisés.

Online learning : mettre à jour le modèle en continu à mesure que de nouvelles données labellisées arrivent. Complexité maximale, mais adapté aux applications à haute vélocité (optimisation d'enchères publicitaires, personnalisation en temps réel).

La plupart des systèmes ML en production utilisent le réentraînement planifié par simplicité, avec un monitoring manuel du drift. Le réentraînement déclenché exige une maturité MLOps.

MLOpsMLOpsMachine Learning Operations : combinaison des pratiques ML et DevOps pour industrialiser, déployer, monitorer et réentraîner les modèles de façon fiable en production.Voir la définition complète → : la couche opérationnelle

Le MLOps (ML Operations) est l'ensemble des pratiques qui rendent les modèles ML fiables et scalables en production.

Les capacités MLOps essentielles :

• Model registry : stockage versionné des modèles entraînés avec leurs métadonnées (données d'entraînement, hyperparamètres, métriques de performance)
• CI/CD pour les modèles : pipelines automatisés de test et de déploiement pour les mises à jour de modèles
• Feature store : repository centralisé des features utilisées par plusieurs modèles, garantissant la cohérence entre l'entraînement et le serving
• Model serving : infrastructure pour servir les prédictions à l'échelle avec une faible latence
• Monitoring et alerting : suivi continu de la performance avec alertes automatiques sur le drift

Outils : MLflow (open-source, model registry + experiment tracking), Weights & Biases (experiment tracking), Kubeflow (MLOps natif Kubernetes), Vertex AI (MLOps managé Google), SageMaker (MLOps managé AWS).

Questions du quiz

1. Qu'est-ce que le "concept drift" dans un modèle ML en production ?

A) Les données d'entrée changent de distribution

B) La relation entre les features et la variable cible change (ex: un modèle de pricing formé à 2% de taux d'intérêt face à un monde à 5%)

C) Le modèle consomme trop de mémoire

D) Les prédictions du modèle deviennent plus lentes

Réponse: B

1. Qu'est-ce qu'un "Feature StoreFeature StoreRéférentiel centralisé qui gère les features de ML et garantit la cohérence entre les environnements d'entraînement et de production.Voir la définition complète →" dans l'architecture MLOps ?

A) Un outil de monitoring de modèles

B) Un repository centralisé de features utilisées par plusieurs modèles, garantissant la cohérence entre l'entraînement et le serving

C) Une base de données de stockage de modèles entraînés

D) Un outil d'A/B testingA/B testingL'A/B testing est une expérimentation contrôlée qui compare deux versions d'un même élément (A et B) en répartissant le trafic de façon aléatoire, pour savoir laquelle performe le mieux sur une métrique choisie.Voir la définition complète → pour les modèles ML

Réponse: B

1. Quelle stratégie de réentraînement est la plus complexe mais appropriée pour les applications à haute vélocité ?

A) Réentraînement planifié (hebdomadaire)

B) Réentraînement déclenché par détection de drift

C) Online learning (mise à jour continue)

D) Réentraînement manuel

Réponse: C