Deux arguments, un seul réglage
Envoyer chaque tâche au plus petit modèle qui la traite correctement divise la facture et la consommation dans les mêmes proportions. Les deux arguments désignent le même geste, ce qui est assez rare pour être exploité.
La plupart des arbitrages de sobriété opposent un gain environnemental à un coût. Celui-ci ne le fait pas : un modèle plus petit calcule moins, donc consomme moins, donc coûte moins. Il n'y a rien à sacrifier.
Cette convergence a une conséquence pratique immédiate. Une équipe qui n'obtient pas de budget pour un chantier de sobriété obtient sans difficulté un budget pour réduire une facture, et elle produit exactement le même résultat.
Quelles tâches basculent, et lesquelles ne basculent pas
L'extraction, la classification, la reformulation et l'anonymisation se traitent avec un petit modèle sans perte mesurable ; le raisonnement à contraintes multiples ne bascule pas. Cette frontière se vérifie, elle ne se suppose pas.
Les tâches qui basculent ont une caractéristique commune : la réponse attendue est courte et contrainte. Il n'y a pas beaucoup de façons d'extraire correctement une date.
Celles qui ne basculent pas demandent de tenir plusieurs contraintes à la fois, ou de suivre un raisonnement long. Elles existent dans tout système et représentent rarement plus d'un appel sur cinq.
La vérification tient en une demi-journée avec un jeu de tests : on fait tourner les deux modèles sur les mêmes cas et on compare le taux d'erreur au seuil fixé pour la tâche. La méthode est celle de Mistral 7B et l'arbitrage par le routage.
L'ordre des gestes, du plus rentable au moins
- Réduire le contexte envoyé. Le gain porte sur tous les paliers à la fois et persiste quel que soit le modèle. Voir réduire de moitié le contexte envoyé.
- Supprimer les requêtes redondantes, qui consomment sans produire.
- Mettre en cache le préfixe stable, ce qui évite de recalculer la même consigne à chaque appel.
- Router vers le petit modèle ce que le jeu de tests autorise à basculer.
Ce que le routage ne doit pas dégrader
Descendre de palier sur une tâche mal choisie produit des erreurs que personne ne détecte, et le gain est alors payé par la confiance. C'est le seul risque réel de la démarche.
Le cas dangereux est celui où l'erreur n'est pas visible : une extraction qui se trompe d'une ligne, une classification qui range dans la catégorie voisine. Ces erreurs ne remontent pas, elles s'accumulent.
La parade est le jeu de tests, avec deux exigences. Il doit contenir un tiers de cas limites, sans quoi il donne un feu vert trompeur. Et il doit inclure des questions hors périmètre, pour vérifier que le petit modèle refuse toujours quand il doit refuser, comme le développe dans le refus de répondre est une fonctionnalité.
Sans ces deux précautions, le routage transforme une économie en dette.
Le cas du modèle local, qui pousse la logique plus loin
Un modèle qui tourne sur le poste de travail ne consomme aucune infrastructure distante et ne fait circuler aucune donnée. Pour les tâches structurées, c'est le point le plus sobre de la chaîne.
La nuance à poser est honnête : le poste consomme aussi, et un traitement lourd sur un portable est moins efficace qu'un traitement optimisé sur du matériel spécialisé. Le gain énergétique brut n'est pas garanti.
Ce qui est garanti, en revanche, c'est la suppression du transfert et de l'infrastructure d'inférence dédiée pour cette part du travail. Sur des traitements ponctuels et courts, l'arbitrage penche nettement.
Les conditions de déploiement, et la principale difficulté qui est l'hétérogénéité du parc, sont détaillées dans petits modèles sur poste.
L'argument qui débloque le budget
Ne pas présenter le chantier comme une démarche de sobriété. Le présenter comme une réduction de facture, chiffrée, avec la baisse de consommation comme conséquence documentée. Le résultat est identique et l'arbitrage se prend en dix minutes.
Ce qu'il faut consigner pour que le gain tienne
Un routage non documenté se défait en six mois, parce que chaque incident pousse à remonter d'un palier « pour être sûr ». La consignation est ce qui empêche le retour en arrière silencieux.
Le document utile tient en un tableau : pour chaque famille de tâches, le palier retenu, le taux d'erreur mesuré, le seuil accepté et la date de la décision. Trois colonnes et une date.
Sans lui, un incident survient, quelqu'un bascule une tâche sur le grand modèle pour le résoudre, personne ne revient en arrière, et le gain disparaît sans que le tableau de bord ne le signale.
C'est une forme de dette parmi les plus discrètes, et elle relève du rendez-vous trimestriel décrit dans la dette technique d'un système d'IA.
Questions fréquentes
Le petit modèle dégrade-t-il la qualité ?
Pas sur l'extraction, la classification, la reformulation et l'anonymisation, où la réponse attendue est courte et contrainte. Sur le raisonnement à contraintes multiples, l'écart subsiste.
Dans quel ordre agir ?
Réduire le contexte, supprimer les requêtes redondantes, mettre en cache le préfixe stable, puis router. Réduire le contexte gagne sur tous les paliers à la fois.
Quel est le risque du routage ?
Des erreurs invisibles sur une tâche mal choisie. Le jeu de tests doit contenir un tiers de cas limites et des questions hors périmètre pour le détecter.
Comment faire accepter le chantier ?
En le présentant comme une réduction de facture chiffrée, avec la baisse de consommation en conséquence documentée. Le geste est le même, l'arbitrage est immédiat.