Mesurer l'adoption, pas la satisfaction
AdoptionMesureProductionTerrain2024-10-157 min
Les enquêtes de satisfaction d'un outil d'IA sont excellentes et ne prédisent rien. Ce qui prédit, c'est la fréquence d'usage à six semaines.
Pourquoi la satisfaction ne dit rien
Les retours à chaud sur un outil d'IA sont presque toujours positifs. La nouveauté joue, la démonstration impressionne, et personne n'a envie de critiquer un projet dans lequel la direction s'est engagée.
J'ai vu des enquêtes à quatre-vingt-dix pour cent de satisfaction sur des outils dont le taux d'usage réel, six semaines plus tard, était inférieur à cinq pour cent. Les deux chiffres ne mesurent pas la même chose, et un seul décide de la suite.
Les quatre indicateurs que je suis
- Le nombre d'utilisateurs actifs par semaine, rapporté à la population cible. C'est la mesure de base et elle est rarement instrumentée.
- La fréquence par utilisateur. Dix personnes qui s'en servent tous les jours valent mieux que cent qui l'ont essayé une fois.
- Le taux de reprise manuelle : la proportion de cas où la personne refait le travail à la main après avoir consulté le système.
- La profondeur d'usage : combien de fonctions sont réellement utilisées. Un usage qui se concentre sur une seule fonction indique où est la valeur, et ce qu'il faut arrêter de maintenir.
Le seuil de six semaines
C'est le repère que j'utilise, et il est empirique. Avant six semaines, la courbe d'usage reflète la curiosité. Après six semaines, elle reflète l'utilité.
Un système dont l'usage tient à six semaines tient en général à six mois. Un système dont l'usage s'effondre à la quatrième semaine ne remonte jamais tout seul, et la cause est presque toujours la même : l'outil est à côté du travail plutôt que dedans.
La mesure la plus honnête, et la moins coûteuse
Demander à cinq utilisateurs de montrer, écran partagé, comment ils s'en sont servis cette semaine. En vingt minutes, on apprend davantage que par une enquête à deux cents répondants, notamment ce qu'ils font juste avant et juste après, qui est là où se trouvent les frictions.
Ce qu'on en fait
Ces chiffres servent à deux décisions : étendre ou arrêter.
Étendre un système peu utilisé est l'erreur la plus fréquente, parce que l'enthousiasme de la direction ne s'appuie sur rien de mesuré. Arrêter proprement un système qui ne prend pas est une décision saine, et elle est bien mieux reçue quand elle s'appuie sur des chiffres partagés depuis le début.
Ce que la latence explique de l'abandon
Un système lent est abandonné même quand ses réponses sont bonnes, et cette cause n'apparaît dans aucun tableau de bord de qualité. C'est la plus sous-estimée des quatre.
Un utilisateur qui attend trop longtemps développe une stratégie de contournement : il fait autrement, il demande à un collègue, il retourne à sa recherche manuelle. Ce contournement ne produit aucun signal, ni erreur, ni plainte, seulement une baisse d'usage.
J'ai repris des systèmes dont les réponses étaient excellentes et l'usage nul, avec une latence moyenne de huit secondes. La diviser par trois a fait plus pour l'adoption que six mois d'amélioration de la qualité, comme détaillé dans la latence devient un critère de conception.
La mesure qui prédit avant les six semaines
Le nombre de questions posées par utilisateur actif, suivi semaine par semaine, décroche avant que l'usage global ne baisse. C'est l'indicateur avancé le plus fiable.
La mécanique est la suivante : les utilisateurs ne cessent pas d'un coup, ils réduisent d'abord. Un utilisateur qui posait douze questions par semaine en pose quatre, puis une, puis plus rien.
Le décrochage se voit trois à quatre semaines avant la chute du nombre d'utilisateurs actifs, ce qui laisse le temps d'intervenir. Le tableau de bord correspondant est décrit dans l'observabilité des systèmes IA.
Ce que la mesure protège
Un service dont personne ne sait ce qu'il apporte est arbitré à la baisse au premier exercice contraint. C'est la raison la moins technique et la plus décisive de mesurer.
Un système documentaire produit une valeur diffuse : du temps non perdu, des erreurs évitées, des questions non posées à un collègue. Rien de tout cela n'apparaît spontanément.
Relever avant la mise en service le temps passé à chercher une information, et le comparer six mois plus tard, transforme un bénéfice invisible en résultat démontrable. Ce relevé prend une demi-journée et il ne peut pas être fait après coup, comme le rappelle où part réellement un budget d'IA.
Questions fréquentes
- Pourquoi la satisfaction ne prédit-elle rien ?
Parce qu'elle mesure la qualité du moment, pas l'effet. Une session bien menée obtient de bonnes notes y compris quand elle ne change rien aux pratiques réelles.
- Quel indicateur suivre en priorité ?
La fréquence d'usage à six semaines, et en indicateur avancé le nombre de questions par utilisateur actif : il décroche trois à quatre semaines avant la chute du nombre d'utilisateurs.
- Pourquoi six semaines ?
Parce que c'est le délai au bout duquel l'enthousiasme retombe. Ne subsistent alors que les usages qui apportent réellement quelque chose, ce qui est précisément ce qu'on cherche à mesurer.
- Que faut-il relever avant la mise en service ?
Le temps passé à chercher une information et le délai de traitement d'une demande. Ces chiffres ne peuvent pas être reconstitués après coup, et sans eux le bénéfice reste indémontrable.
Ce qu'il faut regarder quand l'usage baisse
Trois causes expliquent la quasi-totalité des baisses d'usage, et elles se distinguent en une demi-journée. Les confondre conduit à corriger la mauvaise.
La première est la lenteur : les utilisateurs contournent un système qui fait attendre, sans jamais le dire. Elle se mesure au temps jusqu'à la première réponse, au quantile élevé et non en moyenne.
La deuxième est le vieillissement du corpus : le système répond sur des documents périmés, quelques utilisateurs s'en aperçoivent, et la confiance se perd bien plus vite qu'elle ne s'était installée.
La troisième est la dérive des usages : les questions posées ne sont plus celles pour lesquelles le système a été conçu, et le taux d'échec monte sans que rien n'ait changé côté technique. Ces trois causes et leur traitement sont détaillés dans ce qui occupe l'équipe la deuxième année.