Le prix de l'inférence s'effondre : ce que ça déplace
CoûtÉconomieArchitectureDécision2025-06-248 min
Quand le coût par requête est divisé par dix, le projet ne devient pas dix fois plus rentable. Le goulot se déplace simplement ailleurs.
Une bonne nouvelle mal interprétée
La baisse continue du coût d'inférence a été accueillie comme la levée du dernier obstacle économique. Ce n'était pas le dernier, et ce n'était déjà plus le principal.
Sur les systèmes que j'exploite, le coût des jetons représentait rarement plus d'un cinquième du coût total dès 2024. Le diviser par dix ne change donc pas l'ordre de grandeur du projet, cela supprime un frein psychologique, ce qui n'est pas rien, mais cela ne déplace pas la rentabilité.
Ce que la baisse autorise réellement
Elle autorise des architectures qui étaient déraisonnables auparavant, et c'est là que se trouve le gain.
Appeler le modèle deux fois, une fois pour produire, une fois pour vérifier, coûtait le double, ce qui bloquait la décision. Aujourd'hui, ce doublement est absorbable, et il améliore nettement la fiabilité. De même pour le traitement en masse d'un corpus, ou pour l'enrichissement systématique de documents à l'indexation, qui restaient hors budget.
La question n'est donc plus « combien d'appels peut-on se permettre », mais « où placer les appels supplémentaires pour réduire le travail humain ».
Les trois investissements que la baisse rend rentables
- La vérification systématique. Un second passage qui contrôle la réponse produite fait chuter les erreurs graves, pour un surcoût désormais marginal.
- L'enrichissement à l'indexation. Résumer, étiqueter et dater chaque document au moment où il entre dans le corpus améliore durablement la recherche.
- Le routage fin. Faire trancher par un petit modèle quel modèle doit traiter la demande coûte presque rien et évite d'envoyer toutes les requêtes au plus cher.
L'effet pervers observé
Quand le coût unitaire devient négligeable, la discipline se relâche : contextes trop longs, appels redondants, boucles d'agents non bornées. J'ai vu une facture mensuelle tripler sans augmentation d'usage, uniquement parce que plus personne ne regardait. La surveillance du coût par requête reste nécessaire, non pour le budget, mais parce qu'une dérive de coût signale presque toujours une dérive technique.
Ce que ça change dans la décision d'investir
Je ne présente plus le coût d'inférence comme un critère de décision. Je présente le temps humain économisé par unité traitée, et le coût de l'erreur résiduelle.
Ces deux chiffres décident. Le premier dit ce que le système rapporte, le second ce qu'il expose. Le prix des jetons, lui, est devenu une ligne d'arrière-plan, et c'est précisément le signe que la technologie a fini de mûrir.
Les usages qui ont effectivement basculé
Le tri systématique du courrier entrant, l'enrichissement de base documentaire et le contrôle exhaustif de complétude sont passés du côté rentable. Ce sont des usages massifs, invisibles et sans prestige.
Ils partagent trois traits : un jugement simple énonçable en trois lignes, appliqué à des milliers d'éléments, et dont l'erreur occasionnelle est rattrapable.
À un centime par unité, ces traitements sont hors de prix. À un centième de centime, ils deviennent évidents. Le critère de repérage est détaillé dans les usages qui basculent quand le coût s'effondre.
L'effet pervers qui s'est confirmé
Les factures ont augmenté pendant que les prix baissaient, parce que la sobriété imposée par les petites fenêtres a disparu avec elles. Le mécanisme est arithmétique.
Quand la fenêtre était étroite, il fallait sélectionner. Devenue vaste, la sélection est optionnelle, et l'option la plus simple consiste à tout envoyer.
Le prix par jeton a baissé de moitié, la consommation par requête a été multipliée par dix, et la facture a quintuplé. C'est la trajectoire que j'observe sur la majorité des systèmes repris, et sa correction est détaillée dans réduire de moitié le contexte envoyé.
Ce que la baisse ne déplace pas
Le goulot est passé du coût vers le corpus et le périmètre, et ces deux postes ne baissent pas avec les tarifs. C'est ce qui rend la bonne nouvelle moins décisive qu'il n'y paraît.
Un traitement à bas coût sur un corpus désordonné produit des erreurs à bas coût, en très grand nombre. Un traitement massif sans périmètre défini produit des décisions que personne n'a validées.
La baisse des prix rend donc plus urgent, et non moins, le travail sur le corpus et sur la gouvernance des actions. C'est le constat qui ressort de agents en entreprise : où s'arrêtent les projets.
Questions fréquentes
- Quels usages la baisse des prix rend-elle rentables ?
Les traitements systématiques sur de très grands volumes : tri du courrier entrant, enrichissement de base, contrôle exhaustif de complétude. Individuellement triviaux, massivement coûteux à la main.
- Pourquoi les factures augmentent-elles malgré la baisse ?
Parce que la consommation par requête croît plus vite que le prix unitaire ne baisse. Une fenêtre dix fois plus grande remplie sans discipline annule largement une division par deux du tarif.
- Où se déplace le goulot ?
Vers le corpus et le périmètre, qui ne baissent pas avec les tarifs. Un traitement à bas coût sur un corpus désordonné produit des erreurs à bas coût, en très grand nombre.
- Faut-il refaire les calculs d'investissement ?
Oui, sur son propre profil d'usage : le rapport entre jetons envoyés et produits varie fortement d'un système à l'autre, et la baisse ne s'applique pas uniformément aux deux.
Ce que la baisse rend rentable en interne
Un traitement systématique sur l'ensemble d'un corpus, jusque-là impensable, devient une opération de routine, et c'est ce qui a le plus d'effet sur la qualité des systèmes. L'usage est indirect et il est décisif.
Trois traitements en bénéficient particulièrement. La détection des doublons et des versions concurrentes dans un corpus, qui permet enfin de désigner ce qui fait autorité. L'enrichissement des métadonnées manquantes, date, statut, service émetteur, sur des documents qui n'en portaient aucune. Et la vérification systématique de cohérence entre pièces d'un même dossier.
Ces trois traitements portent sur le corpus, c'est-à-dire sur ce qui décide réellement de la qualité des réponses. Ils étaient hors de prix quand chaque appel coûtait un centime ; ils deviennent une opération de fin de semaine.
C'est peut-être l'effet le plus important de la baisse des tarifs, et il est rarement présenté ainsi, le raisonnement figure dans le corpus est le projet.