Le corpus est le projet

Il arrive en général en troisième semaine. Le système répond, mais il cite une procédure abrogée. Quelqu'un remarque que la version en vigueur existe, ailleurs, dans un autre dossier partagé, et que les deux cohabitent depuis deux ans.

À ce moment précis, le projet cesse d'être un projet d'IA. Il devient un projet de gestion documentaire, et c'est une très bonne nouvelle, parce que ce problème-là, on sait le traiter.

C'est l'effet secondaire le plus utile que j'observe, et je le mentionne désormais en cadrage parce qu'il justifie à lui seul une partie du budget.

Mettre en place un système documentaire oblige à répondre à des questions que l'organisation avait laissées ouvertes depuis des années : qui possède ce référentiel, quelle version fait foi, qui a le droit d'y accéder. Ces réponses valent indépendamment du système.

J'ai vu des organisations tirer plus de valeur du ménage que de l'outil lui-même. Ce n'est pas un échec du projet, c'est son premier résultat.

Un périmètre étroit et propre plutôt qu'un périmètre large et douteux. Trois cents documents dont on sait qu'ils font autorité valent mieux que trente mille dont on ne sait rien.

Cela permet aussi de constituer le jeu de tests sur une base fiable, et d'élargir ensuite en mesurant l'effet de chaque ajout, au lieu de découvrir six mois plus tard que la qualité s'est dégradée sans qu'on sache pourquoi.

Sur les systèmes que j'ai repris, la qualité des réponses corrèle avec l'état du corpus et pas avec la génération du modèle employé. C'est la corrélation la plus constante que j'aie observée.

Un corpus tenu, une version qui fait autorité, des dates lisibles, les documents périmés retirés, donne des réponses correctes avec un modèle modeste. Un corpus accumulé donne des réponses contradictoires avec le meilleur modèle disponible, parce que les contradictions sont dans les documents.

C'est aussi ce qui explique que les annonces de nouvelles générations changent si peu la vie des systèmes en exploitation, comme détaillé dans ce qu'une génération majeure ne change pas.

Un projet dont le corpus est déjà propre coûte trois fois moins qu'un projet équivalent sur un corpus désordonné, et cet écart ne se voit pas au cadrage. C'est le meilleur critère d'arbitrage entre projets candidats.

La question à poser n'est donc pas « lequel apporte le plus de valeur » mais « lequel s'appuie sur des documents dont quelqu'un sait dire lesquels font autorité ».

Un référentiel qualité maintenu, une documentation produit versionnée, un corpus réglementaire suivi : ces bases permettent d'atteindre un résultat en quelques semaines. Un dossier partagé accumulé pendant dix ans demande des mois de travail préalable, et ce travail constitue le premier poste de dépense, comme le montre où part réellement un budget d'IA.

Un corpus n'est pas mis en ordre une fois : il se tient, et le rythme doit être décidé avant la mise en service. C'est ce qui distingue un système qui vieillit bien d'un système qui se dégrade sans qu'on puisse le dater.

Deux décisions suffisent. Qui signale qu'un document a changé, une personne nommée, pas un processus abstrait. Et à quelle fréquence l'index est rafraîchi, ce qui dépend de la vitesse d'évolution du corpus, pas d'une bonne pratique générale.

Un référentiel réglementaire qui bouge deux fois par an se rafraîchit deux fois par an. Une base de fiches produit qui change chaque semaine demande une reprise incrémentale automatique.

Sans ces deux décisions, le système répond sur des documents périmés six mois plus tard, avec assurance et sans aucun signal. C'est la première des charges récurrentes décrites dans ce qui occupe l'équipe la deuxième année.