Le corpus est le projet

Un projet d’IA documentaire devient un projet de gestion documentaire dès que le système cite une version périmée, parce que le modèle ne sait pas quelle version d’un document fait autorité. Ce moment arrive tôt, et c’est une bonne nouvelle.

Par corpus, on entend l’ensemble des documents que le système a le droit de lire pour répondre : procédures, contrats, fiches produit, notes internes. Dans une architecture de recherche augmentée, les passages fournis orientent la réponse, mais le modèle peut aussi mobiliser ses connaissances ou inventer ; leur qualité ne garantit donc pas la fidélité du résultat. Le principe de cette architecture est détaillé dans le RAG, la seule architecture qui tienne.

Un exemple générique rend le problème visible. Le système répond, mais il cite une procédure abrogée. Quelqu’un remarque que la version en vigueur existe, ailleurs, dans un autre dossier partagé, et que les deux cohabitent depuis deux ans.

À ce moment précis, le projet cesse d’être un projet d’IA. Il devient un projet de gestion documentaire, et c’est une très bonne nouvelle : parce que ce problème-là, on sait le traiter.

Avant de développer un chatbot, il faut savoir qui valide les documents, comment les versions sont distinguées, quand elles changent et quels utilisateurs peuvent les consulter.

• Qui décide qu’un document fait autorité ? S’il n’y a pas de réponse, le système arbitrera à votre place, au hasard.
• Que fait-on des versions antérieures ? Les retirer de l’index ne suffit pas s’il faut pouvoir les consulter : il faut un statut, pas une suppression.
• À quelle fréquence ça bouge ? Cela détermine le rythme de réindexation, et donc une part du coût d’exploitation.
• Qui a le droit de lire quoi ? La réponse doit être exploitable par une machine, pas seulement connue des personnes.

On évalue l’état d’un corpus en vérifiant, sur un échantillon, si chaque document a une version de référence identifiable, une date lisible, un propriétaire et des droits d’accès exploitables par une machine. La durée dépend de la taille du périmètre et de l’état des métadonnées.

La démarche tient en six étapes :

1. Délimiter un périmètre candidat : un référentiel, une direction, un type de document. Pas « tout le partage réseau ».
2. Compter et dater : combien de documents, de quand datent-ils, quelle part n’a pas été modifiée depuis plusieurs années.
3. Repérer les doublons et les versions : mêmes titres, mêmes contenus à quelques lignes près, suffixes du type « v2 », « final », « final bis ».
4. Identifier un propriétaire par ensemble de documents, c’est-à-dire une personne capable de dire ce qui fait foi.
5. Relever les droits d’accès et vérifier qu’ils sont lisibles par le système, pas seulement par les personnes. La question rejoint celle de ce qu’on a le droit de mettre dans un prompt.
6. Examiner la forme : PDF numérisés sans texte, tableaux, pièces jointes imbriquées. La manière de découper ces documents pèse ensuite lourd, comme le montre découper un document, le choix qui décide de tout.

Un projet d’IA documentaire oblige l’organisation à décider qui possède chaque référentiel, quelle version fait foi et qui peut y accéder, et ces réponses valent indépendamment du système construit. C’est l’effet secondaire le plus utile que j’observe.

Je le mentionne désormais en cadrage parce qu’il justifie à lui seul une partie du budget. Mettre en place un système documentaire oblige à répondre à des questions que l’organisation avait laissées ouvertes depuis des années.

J’ai vu des organisations tirer plus de valeur du ménage que de l’outil lui-même. Ce n’est pas un échec du projet, c’est son premier résultat.

La formation IA des responsables documentaires peut partir d’une procédure réelle : identifier sa version en vigueur, vérifier son accès et expliquer pourquoi un brouillon ne doit pas servir de référence.

Indexer tous les documents sans contrôle expose le système à des versions contradictoires et à des contenus non autorisés, que le modèle ne peut pas départager avec certitude.

« On indexe tout, le modèle fera le tri. » Il ne le fera pas. Il citera ce qu’il trouve, y compris un brouillon rangé au mauvais endroit, et il le citera avec la même assurance que la procédure en vigueur.

Un projet d’IA documentaire commence par un périmètre étroit et propre plutôt que large et douteux : trois cents documents dont on sait qu’ils font autorité valent mieux que trente mille dont on ne sait rien. Le reste s’ajoute ensuite, en mesurant.

Ce choix permet aussi de constituer le jeu de tests sur une base fiable, et d’élargir ensuite en mesurant l’effet de chaque ajout : au lieu de découvrir six mois plus tard que la qualité s’est dégradée sans qu’on sache pourquoi.

L’arrivée de fenêtres de contexte plus larges ne dispense pas de ce travail. Un modèle capable de lire un document entier, comme l’analyse Claude 2 et ses cent mille jetons, peut recevoir aussi bien la version périmée que la version en vigueur, sans savoir laquelle fait autorité.

L’erreur la plus fréquente sur le corpus d’un projet d’IA consiste à le traiter comme une donnée d’entrée figée, alors qu’il s’agit d’un actif vivant qui exige un propriétaire et un entretien. Les autres erreurs en sont des variantes.

• Supprimer les anciennes versions au lieu de leur donner un statut : on perd la possibilité de répondre « quelle règle s’appliquait à telle date ».
• Confier le tri au modèle, en espérant qu’il privilégiera le document le plus récent. Rien ne l’y oblige.
• Ignorer les droits d’accès au moment de l’indexation, puis découvrir qu’un document confidentiel est cité à quelqu’un qui n’aurait pas dû le lire.
• Élargir le périmètre avant d’avoir mesuré la qualité sur le premier lot.
• Changer de modèle pour corriger des contradictions qui se trouvent dans les documents.

Sur les systèmes que j’ai repris, la qualité des réponses corrèle avec l’état du corpus et pas avec la génération du modèle employé. C’est la corrélation la plus constante que j’observe.

Un corpus tenu, une version qui fait autorité, des dates lisibles, les documents périmés retirés, donne des réponses correctes avec un modèle modeste. Un corpus accumulé donne des réponses contradictoires avec le meilleur modèle disponible, parce que les contradictions sont dans les documents.

Un changement de modèle ne résout pas à lui seul la coexistence de versions contradictoires. Lecture complémentaire : ce qu’une génération majeure de modèle ne change pas.

Entre plusieurs projets d’IA candidats, l’état du corpus permet d’identifier le travail préalable de tri et de qualification, qu’il faut chiffrer avant de comparer leur valeur. C’est le meilleur critère d’arbitrage entre projets candidats.

La question à poser n’est donc pas « lequel apporte le plus de valeur » mais « lequel s’appuie sur des documents dont quelqu’un sait dire lesquels font autorité ».

Un référentiel qualité maintenu, une documentation produit versionnée, un corpus réglementaire suivi : ces bases réduisent le travail de qualification préalable. Un dossier partagé accumulé sans suivi demande un tri dont la durée et le coût doivent être estimés sur un échantillon. Lecture complémentaire sur le budget : où part réellement un budget d’IA. C’est l’un des points examinés lors d’un audit IA avant tout engagement.

Un corpus n’est pas mis en ordre une fois : il se tient, et son rythme d’entretien doit être décidé avant la mise en service du système d’IA. C’est ce qui distingue un système qui vieillit bien d’un système qui se dégrade sans qu’on puisse le dater.

Deux décisions suffisent. Qui signale qu’un document a changé : une personne nommée, pas un processus abstrait. Et à quelle fréquence l’index est rafraîchi, ce qui dépend de la vitesse d’évolution du corpus, pas d’une bonne pratique générale.

Un référentiel réglementaire doit être revu lorsque ses textes applicables changent ; le rythme se décide selon les sources et le risque. Une base de fiches produit qui change chaque semaine demande une reprise incrémentale automatique.

Sans ces deux décisions, le système répond sur des documents périmés six mois plus tard, avec assurance et sans aucun signal. Lecture complémentaire sur l’entretien : ce qui occupe l’équipe la deuxième année.