Le prix de l’inférence s’effondre : ce que ça déplace

Le coût d’inférence est ce que coûte l’exécution d’un modèle déjà entraîné pour produire une réponse ; pour un modèle accessible par API, il se facture au nombre de jetons envoyés et générés.

Un jeton est une unité de texte dont la découpe dépend du modèle et de la langue. Une requête se paie donc en deux parties : les jetons d’entrée, qui comprennent la consigne, le contexte et les documents fournis, et les jetons de sortie, qui composent la réponse. Les deux n’ont généralement pas le même tarif.

Ce coût baisse vite. Le rapport AI Index 2025 relève une baisse de plus de 280 fois pour une performance de niveau GPT-3.5 entre novembre 2022 et octobre 2024. Cette mesure à performance donnée ne constitue pas une baisse identique pour chaque tarif d’API. Epoch AI décrit également des trajectoires différentes selon les tâches. La question n’est donc pas de savoir si le prix baisse, mais ce que cette baisse change réellement à l’économie d’un système.

La baisse du coût d’inférence est mal interprétée parce qu’on la lit comme la levée du dernier obstacle économique, alors que les jetons ne représentent qu’un poste dans la conception et l’exploitation d’un système.

La baisse continue du coût d’inférence a été accueillie comme la levée du dernier obstacle économique. Ce n’était pas le dernier, et ce n’était déjà plus le principal.

Sur les systèmes que j’exploite, le coût des jetons représentait dès 2024 une part minoritaire du coût total, derrière le temps humain de conception, d’exploitation et de relecture. Le diviser, même fortement, ne change donc pas l’ordre de grandeur du projet. Cela supprime un frein psychologique, ce qui n’est pas rien, mais cela ne déplace pas la rentabilité. La décomposition complète de ce coût figure dans le coût réel d’un système d’IA en production.

La baisse du prix de l’inférence permet de tester des traitements auparavant plus coûteux, mais leur rentabilité et leur fiabilité doivent encore être mesurées sur les tâches concernées.

Un second passage peut contrôler la complétude d’une réponse ou comparer celle-ci à une source. Il ne garantit pas l’absence d’erreur : deux appels peuvent reproduire la même mauvaise interprétation. La vérification doit avoir un critère et des preuves accessibles.

L’enrichissement de documents et le routage deviennent aussi des candidats à réexaminer. La question reste la même : quel traitement supplémentaire réduit une erreur ou un travail humain, et combien coûte ce résultat ?

Le choix de palier par tâche fournit une méthode de comparaison. Je préfère une économie démontrée sur un appel utile à une multiplication d’appels rendue seulement moins chère.

Quand l’inférence baisse, je réexamine la vérification, l’enrichissement du corpus et le routage, en mesurant leurs résultats plutôt qu’en supposant une rentabilité immédiate de chaque ajout.

• La vérification systématique. Un second passage peut détecter certaines erreurs ; son intérêt se mesure contre son coût et les erreurs qu’il laisse passer.
• L’enrichissement à l’indexation. Résumer, étiqueter et dater chaque document au moment où il entre dans le corpus améliore durablement la recherche.
• Le routage fin. Faire trancher par un petit modèle quel modèle doit traiter la demande a un coût à inclure et peut éviter d’envoyer toutes les requêtes au plus cher.

Les traitements répétitifs et vérifiables sont des candidats au réexamen économique lorsque le coût d’inférence baisse, sans que la baisse suffise à déclarer chaque usage rentable.

Le tri du courrier, l’enrichissement documentaire et le contrôle de complétude combinent volume et critères explicites. Il faut mesurer le temps économisé, le taux de reprise et les conséquences d’une erreur.

Une règle de classement peut rester déterministe si les catégories sont simples. L’IA doit démontrer son intérêt par rapport à cette référence, et pas uniquement par rapport à un traitement entièrement manuel.

Le critère de repérage rejoint les usages devenus possibles avec un modèle moins coûteux. La décision dépend du processus, de son volume et du contrôle nécessaire.

Un traitement systématique sur l’ensemble d’un corpus, jusque-là impensable, devient une opération de routine, et c’est ce qui a le plus d’effet sur la qualité des systèmes. L’usage est indirect et il est décisif.

Trois traitements en bénéficient particulièrement. La détection des doublons et des versions concurrentes dans un corpus, qui permet enfin de désigner ce qui fait autorité. L’enrichissement des métadonnées manquantes, date, statut, service émetteur, sur des documents qui n’en portaient aucune. Et la vérification systématique de cohérence entre pièces d’un même dossier.

Ces trois traitements portent sur le corpus, c’est-à-dire sur ce qui décide réellement de la qualité des réponses. Le coût de ces opérations doit être chiffré sur le volume réel, en incluant la validation des métadonnées. Une étiquette produite automatiquement peut être fausse : elle ne doit pas devenir une autorité sans contrôle.

C’est peut-être l’effet le plus important de la baisse des tarifs, et il est rarement présenté ainsi. Le raisonnement figure dans le corpus est le projet.

Pour éviter une hausse de dépense malgré la baisse unitaire, il faut suivre les volumes, les longueurs de contexte et les répétitions, avec des limites par traitement.

Quand le coût unitaire devient négligeable, la discipline se relâche : contextes trop longs, appels redondants, boucles d’agents non bornées. Je vérifie les contextes inutiles et les répétitions plutôt que de supposer qu’un coût unitaire faible rend toute consommation acceptable. La surveillance du coût par requête reste nécessaire : pour le budget et pour le diagnostic : une hausse peut venir d’un changement technique, mais aussi du trafic ou du tarif.

Une facture peut augmenter pendant que le tarif unitaire baisse si les volumes, la longueur des requêtes ou les tentatives supplémentaires augmentent davantage que l’économie réalisée.

Il faut distinguer prix, consommation et coût complet. Une fenêtre plus grande n’oblige pas à envoyer plus de texte ; elle peut néanmoins faciliter un envoi non sélectionné.

Je compare les dépenses à tâche et qualité constantes. Le calcul multiplie les volumes facturés par les tarifs applicables, puis ajoute les autres postes du système. Je ne transforme pas un exemple arithmétique en trajectoire observée sur toutes les entreprises.

La mise en cache du contexte peut réduire la part répétée, avec ses conditions et ses propres frais.

La baisse des prix change le coût marginal d’un appel au modèle, mais elle ne change ni le coût du corpus, ni celui du périmètre, ni celui de l’erreur résiduelle.

Le tableau explique pourquoi la baisse est réelle et pourtant moins décisive qu’annoncé : elle agit sur les lignes du haut, alors que la rentabilité se joue surtout sur celles du bas.

Le goulot est passé du coût vers le corpus et le périmètre, et ces deux postes ne baissent pas avec les tarifs. C’est ce qui rend la bonne nouvelle moins décisive qu’il n’y paraît.

Un traitement à bas coût sur un corpus désordonné produit des erreurs à bas coût, en très grand nombre. Un traitement massif sans périmètre défini produit des décisions que personne n’a validées.

La baisse des prix rend donc plus urgent, et non moins, le travail sur le corpus et sur la gouvernance des actions. C’est le constat qui ressort de agents en entreprise : où s’arrêtent les projets.

Refaire son calcul d’investissement après la baisse des prix consiste à remplacer le coût d’inférence par deux grandeurs plus décisives : le temps humain économisé par unité traitée et le coût de l’erreur résiduelle.

Je le rapporte au temps humain économisé et au coût de l’erreur résiduelle. Ces deux chiffres décident : le premier dit ce que le système rapporte, le second ce qu’il expose. La méthode tient en cinq étapes.

1. Mesurer son propre profil d’usage. Le rapport entre jetons envoyés et jetons produits varie fortement d’un système à l’autre, et la baisse ne s’applique pas uniformément aux deux.
2. Chiffrer le temps humain par unité. Combien de minutes une personne passe-t-elle aujourd’hui sur un courrier, un dossier, une vérification ?
3. Estimer le coût d’une erreur non détectée. Une réponse fausse à un client, un dossier mal orienté, un contrôle manqué.
4. Placer les appels supplémentaires là où ils réduisent ces deux grandeurs. Vérification, enrichissement, routage.
5. Revoir l’arbitrage d’architecture. Une baisse de prix modifie l’équilibre entre récupération documentaire et ajustement du modèle, comme le montre l’arbitrage par le coût entre RAG et fine-tuning.

La maturité d’un système ne se déduit pas du prix des jetons. La dépense d’inférence reste importante lorsque le volume ou la longueur des traitements le justifie. Ce calcul est l’un des livrables d’un audit IA.

Lectures complémentaires : réduire de moitié le contexte envoyé, agents en entreprise : où s’arrêtent les projets.