Quand la fenêtre de contexte cesse d'être un argument

Quand tous les fournisseurs proposent une très grande fenêtre de contexte, cette caractéristique cesse de départager quoi que ce soit. C'est le sort habituel des arguments techniques : ils différencient dix-huit mois puis deviennent un prérequis.

Pendant deux ans, la taille de fenêtre a structuré les comparaisons. Elle apparaissait en tête des annonces, dans les tableaux comparatifs, dans les appels d'offres. Elle disparaît de ce rôle aussi vite qu'elle y était entrée.

Ce qui reste alors est plus intéressant, parce que ce sont les critères qui comptaient déjà : le comportement sur vos cas, le coût par réponse, la stabilité du fournisseur, et le respect des formats de sortie.

Le comportement sur votre jeu de tests, le coût par réponse à qualité constante, et la stabilité du format de sortie décident aujourd'hui d'un choix de modèle. Aucun des trois ne figure dans une annonce.

Le premier ne peut venir que de vous. Aucun classement public ne prédit le comportement sur un corpus donné, dans une langue donnée, pour une tâche donnée, le raisonnement de lire une annonce de benchmark.

Le deuxième se mesure et se compare, à condition que la couche d'abstraction comptabilise le coût par appel au même endroit pour tous les fournisseurs.

Le troisième est le plus négligé et le plus déterminant en production : un modèle qui respecte scrupuleusement un format de sortie demandé vaut mieux qu'un modèle plus capable qui s'en écarte une fois sur vingt, parce que cette fois-là casse une chaîne automatisée.

Quand la fenêtre n'est plus une contrainte, l'arbitrage entre récupération et envoi direct se décide sur le coût et la latence, pas sur la faisabilité. Le calcul devient purement économique.

La règle empirique reste celle établie plus tôt : en dessous de quelques centaines de pages et de quelques centaines de requêtes par jour, envoyer le corpus entier coûte moins cher en temps d'ingénierie qu'une chaîne de récupération. Au-delà, la récupération l'emporte largement.

Ce qui a changé, c'est qu'on peut désormais faire ce calcul avec n'importe quel fournisseur, ce qui rend la décision réversible. Une organisation peut commencer sans récupération, mesurer, et l'ajouter quand le volume le justifie.

C'est la bonne séquence, et elle évite le sur-dimensionnement initial que je rencontre dans la majorité des projets repris, le premier des verrous de sortir du prototype.

À capacités équivalentes, le fournisseur qui se comporte de la même façon d'un mois sur l'autre vaut mieux que celui qui progresse par à-coups. C'est un critère d'exploitation, jamais mis en avant commercialement.

Un système en production est réglé : le prompt a été ajusté, les seuils fixés, les cas limites traités. Une amélioration du modèle qui change le style des réponses ou la façon de refuser oblige à tout revérifier.

Les équipes qui exploitent depuis longtemps le savent et arbitrent en conséquence. Elles préfèrent un fournisseur qui annonce ses changements, propose des versions figées, et laisse un préavis suffisant.

Ce critère devient central à mesure que les capacités convergent. Il est aussi le plus facile à vérifier : il suffit de regarder l'historique des douze derniers mois.

La convergence des capacités déplace la concurrence vers le prix, la fiabilité et l'intégration, ce qui profite aux clients et complique les comparaisons. Il faut s'y préparer.

Quand les modèles se ressemblent, le choix se joue sur des éléments moins lisibles : la qualité de la documentation, le comportement du support, la facilité d'intégration à un système existant, la clarté des conditions contractuelles.

Ces éléments ne se comparent pas dans un tableau. Ils s'évaluent en construisant réellement quelque chose, ce qui plaide pour une phase d'essai courte sur deux fournisseurs plutôt qu'une comparaison documentaire longue.

La recommandation pratique : deux jours d'intégration réelle valent mieux que deux semaines d'analyse comparative. Et la couche d'abstraction rend cet essai peu coûteux, ce qui reste l'argument le plus fort en sa faveur.