Le coût réel d'un système d'IA en production
CoûtProductionExploitationDécision2024-09-249 min
Le coût d'un système d'IA n'est pas le prix des jetons. C'est six postes, dont un seul est visible sur la facture du fournisseur.
La question qu'on me pose, et celle qu'il faut poser
On me demande : combien coûte une requête. La réponse tient en centimes, elle rassure, et elle ne sert à rien.
La question utile est : combien coûte le service rendu, une fois qu'il tourne, sur une année. Ce chiffre-là est en général cinq à dix fois supérieur au coût des jetons, et sa structure explique pourquoi certains projets deviennent déraisonnables à mesure qu'ils réussissent.
Le poste qui surprend : la relecture
Sur un système qui produit des réponses destinées à être vérifiées, la relecture humaine devient rapidement le premier poste de coût.
Le calcul est simple et rarement fait. Si le système traite mille dossiers par mois et que chaque réponse demande deux minutes de vérification, cela représente plus de trente heures mensuelles. Comparé à quelques dizaines d'euros d'inférence, l'ordre de grandeur n'est pas le même.
La conséquence pratique est contre-intuitive : investir pour réduire le temps de relecture, citations précises, mise en évidence des passages sources, refus explicite en cas de doute, rapporte davantage que d'optimiser le coût par jeton.
Les trois leviers qui font vraiment baisser la facture
- Router les tâches. Toutes n'exigent pas le meilleur modèle. Une classification simple traitée par un petit modèle, avec escalade sur les cas ambigus, divise la facture sans toucher au service rendu.
- Mettre en cache ce qui se répète. Sur la plupart des usages internes, une fraction significative des questions revient à l'identique.
- Réduire le contexte envoyé. Envoyer vingt extraits quand cinq suffisent multiplie le coût par quatre et dégrade souvent la réponse, en noyant l'information utile.
Le coût qui arrive toujours en dernier
La réindexation. Le jour où le corpus double, où l'on change de modèle d'embarquement, ou où l'on découvre qu'il faut redécouper les documents, il faut tout recalculer. Ce n'est pas un coût récurrent, c'est un coût par événement, et personne ne l'a budgété, parce qu'il n'existe pas la première année.
Ce que je livre désormais avec le système
Un tableau de coût mensuel, avec les six postes, mis à jour depuis les journaux réels et non depuis une estimation.
Ce tableau sert deux fois. Il permet à la direction de décider d'étendre ou non, sur des chiffres constatés. Et il rend visible la dérive : un coût par requête qui double en un mois signale presque toujours un problème, un contexte qui a grossi, une boucle d'agent mal bornée, ou un usage détourné.
La répartition constatée sur trois ans
Les appels au modèle représentent la plus petite des quatre lignes du budget, et c'est la seule dont on parle en comité. Les trois autres, corpus, intégration, exploitation, pèsent chacune davantage.
Cette dissymétrie a une conséquence directe : les efforts d'optimisation portent sur le poste le plus petit, tandis que les trois autres ne sont ni mesurés ni pilotés.
Une équipe peut ainsi passer un trimestre à réduire des jetons et ignorer un poste trois fois plus lourd, faute de l'avoir chiffré. La répartition détaillée figure dans où part réellement un budget d'IA.
La mesure qui rend la facture pilotable
Étiqueter chaque appel par fonctionnalité transforme un total mensuel en arbitrage instruit, et cela prend une demi-journée. Sans cette mesure, aucune décision d'optimisation n'est fondée.
Le résultat est presque toujours le même : une fonctionnalité minoritaire en usage porte la majorité de la dépense, et ce n'est jamais celle qu'on soupçonnait. Les coupables habituels sont un traitement de fond programmé trop fréquemment, une conversation qui conserve tout son historique, ou une synthèse qui envoie l'intégralité d'un dossier.
Aucun de ces trois problèmes n'est visible sans la mesure, et tous se corrigent en quelques heures une fois identifiés. La méthode est détaillée dans mesurer le coût par fonctionnalité.
L'ordre dans lequel appliquer les leviers
Réduire le contexte d'abord, mettre en cache ensuite, router en dernier : cet ordre donne le meilleur résultat et il est rarement suivi. La raison est arithmétique.
Réduire de moitié le contexte divise la facture par deux sur tous les paliers à la fois, et le gain persiste quel que soit le modèle choisi ensuite. Mettre en cache un contexte déjà réduit économise sur une base plus petite mais reste très rentable. Router optimise ce qui reste.
Commencer par le routage donne l'impression d'agir tout en laissant en place le gaspillage principal. La démarche complète figure dans réduire de moitié le contexte envoyé.
Questions fréquentes
- Quel poste surprend le plus ?
L'exploitation, qui n'apparaît qu'au deuxième exercice : réindexation du corpus, migration de modèle deux à trois fois par an, diagnostic d'incidents. Elle n'est presque jamais provisionnée.
- Comment rendre une facture pilotable ?
En étiquetant chaque appel par fonctionnalité dans la couche d'abstraction. Une demi-journée de travail qui transforme un total mensuel en arbitrage instruit.
- Dans quel ordre optimiser ?
Réduire le contexte, puis mettre en cache, puis router. Réduire divise la facture sur tous les paliers à la fois et le gain persiste quel que soit le modèle retenu ensuite.
- Que faut-il ajouter à un dossier d'investissement ?
Une ligne d'exploitation annuelle distincte du coût de construction. Sans elle, le coût réel sur trois ans est très supérieur à celui annoncé et le dossier est arbitré sur un chiffre faux.
Le poste que personne ne compte : le temps des utilisateurs
Les heures passées par les utilisateurs à apprendre, à corriger et à contourner pendant les premiers mois constituent une ligne réelle qui n'apparaît nulle part. Elle est pourtant du même ordre que le coût de construction sur un déploiement large.
Trois usages du temps se cumulent. L'apprentissage, qui est légitime et se réduit. La correction, quand la réponse est presque juste et qu'il faut la reprendre, c'est le poste le plus lourd et il ne se réduit pas tout seul. Et le contournement, quand l'utilisateur préfère faire autrement, qui ne produit aucun signal.
Seule la correction se mesure facilement : il suffit de compter, sur un échantillon, la proportion de réponses reprises à la main. Ce taux est le meilleur indicateur de qualité perçue dont je dispose, bien meilleur qu'une enquête de satisfaction, et sa méthode de suivi figure dans mesurer l'adoption, pas la satisfaction.