Construire une grille d'évaluation des fournisseurs d'IA

Une directrice du merchandising d'une marque de prêt-à-porter de taille moyenne a enchaîné six démos fournisseurs en une semaine. Chaque deck promettait une « optimisation d'assortiment propulsée par l'IA ». Chaque démo tournait sur le jeu de données soigneusement préparé du fournisseur, pas sur ses 40 000 SKU (stock keeping units, les déclinaisons produit individuelles du type « t-shirt col rond bleu marine, taille M ») en production. Le vendredi, elle avait six diaporamas impressionnants et aucun moyen de les comparer. C'est cet écart, entre la démo léchée et l'adéquation réelle, que la grille vient combler.

Cette leçon vous donne une grille pondérée concrète pour noter des outils d'IA concurrents sur un cas d'usage merchandising ou expérience clientexpérience clientLa perception globale qu'un client se construit de votre marque à travers chaque interaction, du premier contact au support après-vente.Voir la définition complète → (CX). Vous en sortirez capable de mener un bake-off structuré au lieu de vous fier au discours commercial le plus insistant.

Pourquoi les démos mentent (structurellement, pas par malice)

Les fournisseurs optimisent leurs démos pour leurs points forts. Un outil de recherche visuelle vous montrera une requête « trouver une robe similaire » impeccable sur des visuels studio haute résolution. Votre catalogue réel, lui, a un éclairage inconstant, des vues de dos manquantes et 12 % de produits sans attribut couleur renseigné.

La grille impose à chaque fournisseur *vos* données, *vos* systèmes et *vos* seuils de réussite. Elle transforme un enthousiasme vague en chiffres que vous pouvez défendre devant un comité de pilotage.

Les quatre piliers de notation

Notez chaque fournisseur de 1 à 5 sur quatre piliers, puis pondérez-les. Les pondérations doivent refléter votre situation, mais un choix par défaut défendable pour un pilote merchandising ou CX ressemble à ceci :

Multipliez chaque note par sa pondération, additionnez, et vous obtenez un chiffre unique comparable sur 5. Nous déroulerons un exemple à la fin.

Pilier 1 : précision sur votre assortiment de SKU (35 %)

Non négociable, et cela doit tourner sur vos données. Envoyez à chaque fournisseur un jeu de test identique : une tranche représentative de votre catalogue. Incluez volontairement vos cas difficiles (déstockage à forte remise, bundles, pièces saisonnières uniques, produits aux métadonnées pauvres).

Définissez la métrique qui correspond au cas d'usage :

• Tagging d'attributs (génération automatique de champs comme longueur de manche, encolure, matière) : mesurez la précision (parmi les tags appliqués, quel pourcentage était correct) et le recall (parmi les tags qu'il aurait dû appliquer, quel pourcentage a été trouvé). Un outil qui tague « fleuri » sur 95 % des vrais imprimés fleuris mais étiquette aussi des rayures a un fort recall et une précision faible.
• Prévision de la demande pour l'assortiment : mesurez l'erreur par rapport au réalisé, en général le MAPE (mean absolute percentage error, l'ampleur moyenne de l'écart de prévision). Comparez-le au baseline de votre planneur actuel, pas à zéro.
• Recommandations produit (CX) : mesurez l'uplift en taux de clic ou en conversion sur un échantillon mis de côté, pas sur un proxy inventé par le fournisseur.

Exigez des résultats détaillés par catégorie. Un outil qui atteint 90 % de précision de tagging sur les hauts mais 60 % sur la chaussure, c'est un problème chaussure qui n'attend que d'arriver.

Pilier 2 : intégration avec le PLM et le PIM (25 %)

Deux acronymes à définir :

• PLM (Product Lifecycle Management) : le système où le produit est conçu, chiffré et développé, du dossier technique à la production. Parmi les acteurs : Centric Software, PTC FlexPLM, Bamboo Rose.
• PIM (Product Information Management) : le système qui détient la « source unique de vérité » des données produit utilisées sur vos canaux (descriptions, images, attributs). Parmi les acteurs : Akeneo, Salsify, inRiver.

Un outil de tagging par IA qui ne peut pas réécrire dans votre PIM produit juste un tableur que quelqu'un ressaisit à la main. Notez l'intégration sur des questions concrètes :

• Existe-t-il une APIAPIApplication Programming Interface : une interface standardisée qui permet aux applications de communiquer et d'échanger des données sans connaître leur fonctionnement interne respectif.Voir la définition complète → (application programming interface, le connecteur qui permet à deux systèmes de communiquer) documentée et maintenue ?
• Un connecteur préconstruit existe-t-il pour *votre* PIM spécifiquement, ou est-ce « dans la roadmap » ?
• Peut-il absorber votre volume de données et votre cadence de rafraîchissement (une mise en ligne de nouvelle saison de 3 000 SKU dans la nuit) ?

Demandez la documentation API pendant l'évaluation, pas après la signature. Un fournisseur qui hésite là-dessus vous dit quelque chose.

Voici à quoi ressemble un appel d'écriture réaliste, pour que les lecteurs non techniques voient ce que signifie concrètement « intégration » :

POST /pim/v1/products/SKU-10482/attributes
{
  "neckline": "crew",
  "sleeve_length": "short",
  "fabric_primary": "cotton",
  "ai_confidence": 0.91,
  "reviewed_by_human": false
}

Notez les champs ai_confidence et reviewed_by_human. Un bon outil expose le niveau de confiance pour que vous puissiez router les tags peu fiables vers un humain. C'est une fonctionnalité notable.

Pilier 3 : propriété des données et gouvernance (20 %)

Lisez le contrat, pas le deck commercial. Questions clés :

• Qui possède les outputs ? Si l'IA enrichit votre catalogue, ces données enrichies doivent vous appartenir, être conservables et exportables si vous partez.
• Vos données servent-elles à entraîner les modèles partagés du fournisseur ? Pour une marque de prêt-à-porter, votre assortiment et vos profils d'écoulement sont de l'intelligence concurrentielle. Vous ne voulez peut-être pas qu'ils améliorent un modèle que votre concurrent utilise aussi. Cherchez une clause d'opt-out.
• Où les données sont-elles traitées et stockées ? Point pertinent au regard du RGPDRGPDRèglement de l'UE encadrant la collecte, le stockage et l'usage des données personnelles, avec des amendes indexées sur le chiffre d'affaires mondial.Voir la définition complète → européen (General Data Protection Regulation, la loi européenne de protection des données) si des données personnelles sont en jeu (interactions CX clients), et de plus en plus au regard des lois d'États américains comme le California Consumer Privacy Act.
• L'outil utilise-t-il un modèle de fondation tiers (par exemple un large language modellarge language modelUn Large Language Model est un système d'IA entraîné sur d'énormes volumes de texte pour prédire et générer du langage, ce qui permet de rédiger, résumer ou répondre à des questions.Voir la définition complète → accessible via API) ? Si oui, vos données peuvent transiter par l'infrastructure d'un autre fournisseur. Demandez le schémamaUtiliser un logiciel pour automatiser les tâches et campagnes marketing répétitives, afin de personnaliser à grande échelle sur des canaux comme l'email, le web et le social.Voir la définition complète → de flux de données.

Pour comprendre pourquoi la gouvernance a sa place dans les achats, le NIST AI Risk Management Framework est gratuit et neutre vis-à-vis des fournisseurs.

🎬 [VIDEO: "How to Evaluate AI Vendors" - youtube.com - un parcours pratique de la due diligence fournisseur et de la conception de pilote pour les acheteurs grands comptes]

Pilier 4 : critères de réussite du pilote (20 %)

Ne notez jamais ce pilier sur des promesses. Menez un pilote payant (payant, les deux parties restent sérieuses) de 6 à 10 semaines, avec des seuils convenus *par écrit avant le démarrage*. Les pilotes flous « réussissent » toujours.

De bons critères sont spécifiques et mesurables :

• « Réduire le temps de tagging manuel par SKU d'au moins 40 % par rapport au baseline actuel. »
• « Atteindre une précision de tagging d'attributs de 85 % ou plus sur nos cinq principales catégories. »
• « Renvoyer les recommandations en moins de 300 millisecondes au pic de trafic. »

Mauvais critère : « améliorer l'efficacité du merchandising ». Non mesurable, donc non notable.

Exemple déroulé : noter deux fournisseurs

Vous choisissez entre le Fournisseur A (outil spécialisé de tagging d'attributs mode) et le Fournisseur B (suite IA retail généraliste) pour le tagging automatique de votre PIM.

Vous faites tourner les deux sur le même jeu de test de 2 000 SKU et le même pilote payant. Notes brutes (1 à 5) :

Score pondéré, Fournisseur A :

(5 × 0,35) + (3 × 0,25) + (4 × 0,20) + (5 × 0,20)

= 1,75 + 0,75 + 0,80 + 1,00 = 4,30

Score pondéré, Fournisseur B :

(3 × 0,35) + (5 × 0,25) + (3 × 0,20) + (4 × 0,20)

= 1,05 + 1,25 + 0,60 + 0,80 = 3,70

Le Fournisseur A gagne sur la métrique qui compte le plus (la précision spécifique à la mode), même si le Fournisseur B s'intègre plus facilement. La grille rend ce compromis explicite et vous permet de poser la vraie question : peut-on combler le déficit d'intégration du Fournisseur A avec un projet de connecteur moins cher que de vivre avec un tagging plus faible ?

Une remarque sur les attentes réalistes

Aucun fournisseur ne score 5 partout. La grille est une aide à la décision, pas un oracle. Deux disciplines la gardent honnête :

1. Renotez après le pilote. Les notes d'avant-pilote sont des hypothèses. Celles d'après-pilote reposent sur des preuves. L'écart est informatif en soi : un fournisseur qui a surpromis sur la précision surpromettra sur le support.
2. Surveillez le coût total, pas le prix de licence. Un outil qui exige un lourd travail d'intégration ou une revue humaine constante des outputs peu fiables peut coûter plus cher qu'un outil plus onéreux qui tourne proprement. Reflétez cela dans les piliers intégration et pilote.

Points clés

• Testez sur vos propres SKU, toujours. Les démos fournisseurs tournent sur des données préparées ; votre catalogue contient les cas limites sales qui cassent les outils. Envoyez à chaque fournisseur un jeu de test identique et volontairement difficile.
• Pondérez la précision au plus haut pour le merchandising et la CX (35 % dans notre référence), mais n'ignorez jamais l'intégration PLM et PIM : un output d'IA qui ne peut pas être réécrit dans vos systèmes est un tableur, pas un workflow.
• Verrouillez la propriété des données dans le contrat, y compris la question de savoir si vos données d'assortiment entraînent un modèle partagé dont vos concurrents pourraient profiter. Utilisez le NIST AI RMF comme checklist gratuite.
• Menez un pilote payant avec des seuils écrits et mesurables convenus avant le démarrage, puis renotez sur preuves réelles. Suivez l'écart entre le promis et le livré.
• Convertissez tout en un chiffre pondéré unique pour rendre les compromis explicites et défendables devant votre comité de pilotage, puis interrogez le pilier perdant au lieu de l'accepter.