Modèles de raisonnement : la réflexion devient un budget

Un modèle de raisonnement consomme des jetons pour réfléchir avant de répondre, ce qui rend le coût d'une requête dépendant de sa difficulté et non plus seulement de sa longueur. C'est une rupture pour la prévision budgétaire.

Jusqu'ici, le coût d'un appel se calculait à l'avance : tant de jetons envoyés, tant de jetons produits. Il devenait possible d'estimer une facture mensuelle avec précision.

Avec un modèle qui réfléchit, une question difficile peut consommer dix fois plus qu'une question simple de longueur identique. La dispersion devient forte, et la moyenne cesse d'être un bon prédicteur.

La conséquence est qu'il faut mesurer au quantile élevé, comme pour la latence, et prévoir un plafond par requête.

La réflexion apporte un gain net sur les tâches à plusieurs étapes contraintes, et presque rien sur les tâches documentaires ordinaires. Cette distinction évite de payer un supplément généralisé pour un bénéfice localisé.

Les tâches qui en profitent partagent une structure : plusieurs contraintes qui interagissent, un résultat vérifiable, et une solution qui ne se trouve pas du premier coup. Un calcul de conformité croisant plusieurs règles, une planification sous contraintes, la détection d'une incohérence entre trois documents.

Les tâches qui n'en profitent pas sont celles où la réponse est présente dans le contexte : retrouver une clause, résumer un document, reformuler. Aucun raisonnement supplémentaire ne fera apparaître une information qui n'a pas été récupérée, le point développé dans le RAG, la seule architecture qui tienne.

C'est l'erreur la plus fréquente que je rencontre : utiliser un modèle de raisonnement pour compenser une mauvaise récupération. Cela coûte cher et ne corrige rien.

Un modèle qui réfléchit met des dizaines de secondes à répondre, ce qui l'exclut de tout usage conversationnel. Cette contrainte est plus limitante que le coût dans la plupart des projets.

Le raisonnement se paie en temps autant qu'en jetons. Une réponse qui arrive après quarante secondes est inutilisable dans une interface où l'utilisateur attend, quelle que soit sa qualité, le mécanisme d'abandon décrit dans la latence devient un critère de conception.

La configuration qui fonctionne consiste à réserver la réflexion aux traitements différés : une analyse produite pendant la nuit, un contrôle lancé après dépôt d'un dossier, une revue hebdomadaire. Dans ces contextes, quarante secondes ne coûtent rien.

Pour l'interactif, la réponse reste un modèle rapide sur un contexte bien récupéré. C'est moins impressionnant et nettement plus utile.

La qualité cesse d'être une propriété du modèle pour devenir un réglage par tâche, ce qui déplace la compétence vers l'arbitrage. C'est le changement de fond pour les équipes.

Auparavant, améliorer un système signifiait changer de modèle ou améliorer le prompt. Désormais, une troisième voie existe : payer davantage de réflexion là où elle rapporte.

Cette voie n'est exploitable qu'avec un jeu de tests, parce qu'elle exige de comparer un gain de justesse à un surcoût. Sans mesure, le curseur se règle par intuition, ce qui produit invariablement le même résultat : réflexion maximale partout, facture multipliée, gain marginal.

La discipline à installer est donc celle de l'arbitrage documenté : pour chaque famille de tâches, le réglage choisi, le gain mesuré, la date de la décision.

La réflexion se présente comme un curseur entre coût et justesse, pas comme une caractéristique de modèle. Cette formulation évite les deux malentendus habituels.

Le premier malentendu consiste à comprendre « le modèle réfléchit » comme une amélioration générale et gratuite, et à demander qu'elle soit activée partout. Le second consiste à l'écarter comme un gadget coûteux.

Présentée comme un curseur, la décision redevient ordinaire : sur cette famille de tâches, payer trois fois plus divise le taux d'erreur par deux, ce qui vaut le coup ; sur cette autre, le gain est nul, donc on ne paie pas. Une direction tranche très bien ce type d'arbitrage quand les chiffres sont posés.