Votre assistant invente sur vos propres documents

Quand un assistant invente sur les documents de l'organisation, le réflexe est de vouloir le réentraîner sur ces documents. C'est la réponse la plus chère et la moins efficace. Elle se fonde sur une intuition raisonnable et fausse.

L'intuition est que le modèle « ne connaît pas » les documents et qu'il faut les lui apprendre. Elle traite le modèle comme une mémoire.

Ce n'est pas ainsi qu'il fonctionne dans une chaîne documentaire. Le modèle ne connaît rien du corpus : il reçoit, à chaque question, quelques extraits sélectionnés par une étape de recherche, et il répond à partir de ceux-là.

Si la réponse est inventée, la question à poser porte donc sur ces extraits, pas sur le modèle.

Prendre cinq réponses inventées et vérifier, pour chacune, si l'information correcte figurait dans les extraits fournis au modèle. C'est le seul geste utile avant toute décision.

Le résultat sépare deux causes qui appellent des corrections opposées. Si l'information n'y était pas, le problème est dans la recherche ou dans le corpus. Si elle y était et que la réponse est fausse quand même, le problème est dans le prompt ou dans le modèle.

Sur les systèmes que j'ai examinés, la première cause l'emporte très largement. L'information manquait, et aucun réentraînement ne l'aurait fait apparaître.

Ce diagnostic suppose que les extraits fournis soient journalisés, ce qui est le prérequis de toute exploitation sérieuse, décrit dans l'observabilité des systèmes IA.

Il ajuste le style, le format et le registre. Il n'injecte pas de façon fiable des faits, et il ne remplace jamais une recherche défaillante. La distinction est nette et elle est constamment brouillée.

Un modèle réglé finement sur vos documents produira des réponses qui ressemblent à votre documentation. Il continuera d'inventer sur les points précis, parce que la mémorisation d'un fait par ce moyen n'est ni fiable ni vérifiable.

S'y ajoute un coût récurrent qu'on oublie : le modèle réglé devient obsolète quand sa génération de base est dépréciée, deux à trois fois par an, et l'opération doit être refaite.

L'arbitrage complet, avec le calcul de coût, figure dans RAG ou fine-tuning : l'arbitrage par le coût.

Afficher la source de chaque réponse, et autoriser le système à dire qu'il n'a pas trouvé. Ces deux gestes règlent la majorité des situations, et ils coûtent une journée.

L'affichage de la source a un effet immédiat : l'utilisateur voit d'où vient l'information et détecte lui-même l'incohérence. Le système cesse d'être une boîte dont il faut croire les réponses.

L'autorisation de refuser change le comportement sur la classe de cas la plus dangereuse. Un système contraint de répondre invente ; un système qui peut dire « cette information ne figure pas dans les documents que j'ai consultés » est utilisable.

Ce second point demande une consigne explicite et un jeu de tests contenant des questions hors périmètre, faute de quoi la première campagne d'optimisation supprimera le garde-fou.

Qu'un système documentaire ne sait rien : il lit ce qu'on lui donne à chaque question. Cette explication en une phrase change la façon dont les utilisateurs formulent et signalent.

Un utilisateur qui croit que le système « connaît » les documents interprète une réponse fausse comme un oubli, et ne la signale pas.

Le même utilisateur, informé du mécanisme, signale autrement : il dit que le bon document n'a pas été trouvé, ce qui est une information exploitable et qui pointe directement la cause.

Cette explication fait partie de ce que je transmets en priorité, parce qu'elle transforme les utilisateurs en source de diagnostic. C'est un des trois gestes décrits dans les trois gestes qui font tenir un système.

La formulation que j'emploie tient en une phrase, et je la fais figurer dans l'interface elle-même quand c'est possible : ce système ne connaît pas vos documents, il en consulte quelques-uns à chaque question et répond à partir de ceux-là. Les utilisateurs qui l'ont lue signalent des problèmes de recherche là où les autres signalaient des erreurs de modèle, et l'écart de qualité du diagnostic est considérable.