RAG ou fine-tuning : l'arbitrage par le coût

On compare souvent les deux approches sur la pertinence des réponses. C'est une comparaison difficile à conclure, parce qu'elle dépend entièrement du corpus et de la tâche.

En cadrage, je la remplace par une autre : que se passe-t-il quand une information change. C'est cette question qui tranche, parce qu'en entreprise l'information change tout le temps.

L'affinage apprend au modèle une manière : un format de sortie, un vocabulaire métier, un ton, une structure de document. Il est très efficace pour cela, et rien d'autre ne le remplace bien.

La récupération apporte des faits : le contenu du contrat signé en mars, le montant du plafond en vigueur, la référence de la procédure applicable. Elle n'améliore pas la manière, elle fournit la matière.

Ces deux besoins sont distincts, et l'erreur courante consiste à utiliser l'un pour répondre à l'autre, typiquement, affiner un modèle pour lui « apprendre » des faits qui changeront.

Il existe, et il est plus fréquent qu'on ne le pense : un affinage léger pour le format et le vocabulaire, une récupération pour les faits.

Le cas typique est la rédaction de documents normés, comptes rendus réglementés, notes internes à structure imposée, réponses commerciales avec des mentions obligatoires. L'affinage garantit la forme, la récupération garantit le contenu.

Mais je ne le mets en place qu'après avoir constaté, mesures à l'appui, que le prompt seul ne tient pas la forme. Dans la majorité des cas, il la tient.

Les affinages faits tôt, en 2023 et 2024, ont pour la plupart été abandonnés, non parce qu'ils étaient mauvais, mais parce que la génération suivante de modèles faisait aussi bien sans eux.

Les architectures de récupération construites à la même époque, elles, tournent toujours. Elles ont changé de modèle deux ou trois fois, sans que cela se voie. C'est l'argument le plus solide en faveur de la récupération, et il n'est pas technique : il est économique.

Sur les usages documentaires d'entreprise, la récupération l'emporte dans la quasi-totalité des cas, et le réglage fin ne se justifie que sur le style et le format. Le débat s'est refermé par la pratique.

La raison est la mise à jour. Un document change : avec une chaîne de récupération, on réindexe et c'est réglé. Avec un modèle réglé finement, il faut recommencer l'entraînement, revalider, redéployer.

Le réglage fin garde un domaine propre : faire respecter un format de sortie très contraint, ou adopter un registre de langue particulier. Ces besoins existent et ils sont minoritaires. Les capacités de sortie structurée en ont d'ailleurs supprimé une partie, comme décrit dans sorties structurées : le format garanti supprime une étape.

Le coût d'un réglage fin n'est pas celui de l'entraînement mais celui de sa répétition, et il revient à chaque évolution du corpus comme à chaque changement de modèle de base. C'est ce qui décide.

Un modèle réglé finement sur une génération devient obsolète quand cette génération est dépréciée, deux à trois fois par an. Il faut alors refaire l'opération, sur un modèle dont le comportement diffère.

Une chaîne de récupération, elle, survit au changement de modèle sans modification : c'est le bénéfice de la réversibilité décrit dans la couche qui rend le modèle remplaçable.

Un réglage fin léger pour le format et le registre, une chaîne de récupération pour le contenu : cette combinaison couvre les rares situations où l'une seule ne suffit pas. Elle reste minoritaire.

Le cas typique est un système qui doit produire des documents dans une forme normée, un compte rendu réglementaire, une fiche standardisée, à partir d'un corpus qui évolue.

Le contenu vient de la récupération, la forme du réglage fin. Chacun se met à jour indépendamment, ce qui est précisément ce qu'on cherche. La décision se prend sur le jeu de tests, selon la méthode de construire un jeu de tests en une journée.