Découper un document : le choix qui décide de tout

Le découpage d’un document consiste à le diviser en passages indexables que le système retrouvera ensuite pour répondre, et c’est le paramètre le plus sous-estimé d’un système de récupération documentaire. On le désigne souvent par le terme anglais chunking.

Dans un système de récupération documentaire, la qualité des réponses dépend d’abord de ce qui est retrouvé. Et ce qui est retrouvé dépend de la façon dont le corpus a été découpé en morceaux indexables. Le modèle ne lit jamais le document entier : il lit les quelques passages que la recherche lui transmet, parce que sa fenêtre de contexte ne permet pas davantage, comme expliqué dans pourquoi une fenêtre de 8 000 jetons impose la récupération.

C’est un paramètre qu’on règle en général au hasard, mille caractères, deux cents de recouvrement, parce qu’il paraît technique et secondaire. Il est structurant. On débat du modèle pendant des semaines et on découpe le corpus en dix minutes ; c’est l’inverse qu’il faudrait faire.

Un découpage arbitraire, par nombre fixe de caractères, fait échouer la récupération parce qu’il sépare une information de ce qui lui donne son sens : condition, en-tête, terme défini. Couper tous les mille caractères sépare une clause de sa condition d’application, un tableau de son en-tête, une définition du terme qu’elle définit.

Le morceau retrouvé est alors syntaxiquement correct et sémantiquement inutilisable : le modèle reçoit une phrase vraie hors de son contexte, et il en tire une réponse fausse avec assurance. C’est la source d’erreur la plus fréquente et la plus difficile à diagnostiquer, parce que le journal montre que le bon document a bien été retrouvé.

Un exemple générique : une procédure indique « le remboursement est accordé sous trente jours », puis, à la ligne suivante, « sauf pour les commandes passées en ligne ». Si la coupe tombe entre les deux phrases, le système retrouve la règle sans son exception, et répond à un client en ligne une information fausse, citée et sourcée.

Il existe quatre grandes stratégies de découpage, de la longueur fixe à la structure du document, et la bonne est celle qui suit les unités de sens propres au type de document traité. Le tableau résume leurs forces et leurs limites.

Un même corpus combine souvent plusieurs stratégies : un contrat se découpe par article, ses annexes tarifaires par ligne de tableau. Le choix se fait type de document par type de document, pas une fois pour tout le corpus.

Découper un corpus se fait en six étapes, de l’inventaire des types de documents jusqu’au test de lecture des passages isolés, et chacune se vérifie avant de passer à la suivante.

1. Classer le corpus par type de document : contrats, procédures, fiches produit, comptes rendus, tableaux. Chaque type aura sa règle.
2. Repérer la structure de chaque type : numérotation des articles, niveaux de titres, tableaux. Un document sans structure exploitable est à signaler, pas à forcer.
3. Choisir l’unité de découpage : la plus petite portion qui reste compréhensible seule, avec sa condition et son exception.
4. Ajouter le préfixe de contexte à chaque passage : titre du document, section parente, date, statut.
5. Indexer un échantillon plutôt que tout le corpus, pour corriger les règles à moindre coût.
6. Lire des passages isolés et poser des questions réelles sur l’échantillon, avant d’indexer le reste.

Cette méthode prend quelques jours sur un corpus de taille moyenne. Elle est plus longue qu’un réglage par défaut, et elle évite de reconstruire l’index après les premières plaintes des utilisateurs, situation typique décrite dans pourquoi vos premiers essais échouent.

Un meilleur découpage peut améliorer la qualité des réponses davantage qu’un changement de modèle ou de prompt, parce qu’il change ce que le modèle reçoit. Un retour d’expérience l’illustre, sans valeur de loi générale : sur un corpus contractuel que j’ai repris après un premier échec, le seul passage d’un découpage par longueur fixe à un découpage par article, avec le titre du contrat et sa date en préfixe, a fait passer, sur ce cas précis, le taux de réponses exploitables d’environ une sur deux à plus de quatre sur cinq.

Aucun changement de modèle, aucun changement de prompt. Le gain dépendra de chaque corpus, mais c’est le meilleur rendement que je connaisse sur ce type de système, et c’est pourquoi un audit IA d’un système documentaire qui déçoit commence par la lecture de l’index, pas par le choix du modèle.

Un extrait sans métadonnées est inexploitable : il faut lui joindre son document d’origine, sa date et sa position dans le texte. C’est le complément indispensable du découpage, et il est régulièrement oublié.

Ces trois informations servent trois choses distinctes. Le document d’origine permet d’afficher la source, qui est le principal facteur de confiance dans un système documentaire. La date permet à l’utilisateur de savoir qu’il consulte un état ancien. La position permet de récupérer le contexte immédiat quand l’extrait seul ne suffit pas.

J’y ajoute systématiquement une quatrième information : le statut du document, en vigueur, abrogé, brouillon, quand le corpus le porte. C’est elle qui permet au système de refuser de répondre sur une version périmée plutôt que de le faire avec assurance.

Ces métadonnées coûtent quelques lignes à l’indexation et évitent la classe d’incidents la plus difficile à diagnostiquer, comme le rappelle l’observabilité des systèmes IA.

Depuis la rédaction de ces règles en mai 2023, les fenêtres de contexte sont passées de quinze à plusieurs centaines de pages : on cherche alors le document pertinent plutôt que le passage exact, et la maille du découpage remonte d’un cran. Cette section est une mise à jour postérieure à la date de l’article.

C’est le déplacement majeur depuis la formulation initiale de ces règles.

Le découpage fin, mille caractères, avec recouvrement, répondait à une contrainte de place. Cette contrainte a largement disparu : on peut désormais récupérer des sections entières, voire des documents complets, ce qui préserve les renvois internes qu’un découpage fin détruisait.

Le réglage qui fonctionne aujourd’hui combine les deux : chercher fin pour trouver, fournir large pour répondre. C’est le raisonnement développé dans Claude 2 : ce que déverrouillent cent mille jetons.

Un mauvais découpage se répare par une réindexation ; un corpus contenant plusieurs versions d’un même document ne se répare par aucun réglage technique. Il faut distinguer les deux problèmes, qui se ressemblent de l’extérieur.

Le symptôme est identique : le système remonte un passage qui ne convient pas. La cause diffère. Dans un cas, le passage est coupé au mauvais endroit. Dans l’autre, il provient d’une version abrogée que rien ne distingue de la version en vigueur.

Le diagnostic se fait en regardant le document source, pas l’extrait. Et la seconde cause relève d’une décision humaine, comme rappelé dans le corpus est le projet.