Parlons de votre projet
Aller au contenu
Toutes les publications

Migrer vers Sonnet 5.5 : la recette qui rend les régressions visibles

Par Docteur en intelligence artificielle · Conseil, conception de systèmes et formation

ClaudeÉvaluationAgentsGouvernance1 octobre 2026Mis à jour le 13 octobre 20265 min

Un nouveau modèle peut améliorer une tâche et en dégrader une autre. Une recette comparable pour migrer vers Sonnet 5.5 et conserver un retour à la référence.

Illustration de l’article « Migrer vers Sonnet 5.5 : la recette qui rend les régressions visibles »

Une migration de modèle réussie conserve le contrat de sortie du système et permet de revenir à la version précédente. Une réponse convaincante dans une démonstration ne suffit pas : le nouveau modèle peut modifier le format, utiliser un outil différemment ou répondre dans un cas où l’application attendait un refus.

Sonnet 5.5, annoncé le 28 septembre 2026, fournit un cas concret pour construire cette recette. L’objectif de cet article est technique : isoler ce qui change, comparer les sorties et décider avec des preuves. Le protocole proposé n’est pas un compte rendu de tests réalisés sur Sonnet 5.5.

Quelle hypothèse faut-il tester ?

L’hypothèse de migration doit désigner une tâche précise, un défaut à réduire et des critères mesurables, afin que le gain annoncé puisse être accepté ou réfuté. Anthropic présente Sonnet 5.5 comme plus rapide et moins coûteux par tâche que Sonnet 5 dans ses évaluations, tout en conservant les mêmes tarifs unitaires. Ce positionnement donne une raison de tester ; il ne donne pas le résultat de votre migration. Annonce officielle.

Écrivez par exemple : « Le nouveau modèle prépare une synthèse conforme sans augmenter les reprises manuelles. » Cette phrase se vérifie. « Il est plus intelligent » ne fournit aucun seuil de décision. Le jeu de tests métier doit traduire l’hypothèse en cas acceptables et en défauts bloquants.

Comment figer le système de référence ?

Le système de référence doit figer le prompt, le corpus, les outils, les paramètres et les permissions, pour attribuer chaque différence au changement réellement testé. Changer le modèle et améliorer en même temps le prompt empêche d’attribuer une différence. Conservez une configuration datée, une empreinte des ressources et les entrées utilisées pour chaque essai.

Le corpus documentaire peut bouger pendant la migration. Pour le test, préparez une copie contrôlée ou un identifiant de version. Les permissions doivent également être représentées : deux utilisateurs ne doivent pas voir les mêmes documents par commodité expérimentale. Le protocole sur les droits d’accès d’un RAG traite cette frontière.

Consignez les défauts déjà connus de l’ancien système. Une erreur présente dans les deux versions demeure un défaut, mais ce n’est pas une régression. Une amélioration sur un groupe de cas ne doit pas effacer une dégradation sur une tâche critique. Le rapport final conserve les résultats par famille.

L’annonce indique aussi qu’une configuration avec raisonnement désactivé doit être adaptée au mode `between_tools` pour Sonnet 5.5. Vérifiez ce paramètre dans la configuration candidate ; le recopier sans examen fausserait la comparaison. Consignez toute adaptation obligatoire, puis testez les optimisations facultatives dans une campagne distincte.

Comparaison d’une référence et d’un candidat sur les mêmes entrées
La recette compare deux configurations identifiées avec les mêmes données et les mêmes critères.

Quels cas doivent entrer dans la recette ?

La recette de migration doit couvrir les réponses ordinaires, les refus, les contradictions documentaires et les erreurs d’outils, avec des critères propres à chaque tâche. Incluez les réponses ordinaires, les entrées incomplètes, les documents contradictoires, les demandes interdites et les erreurs d’outils. Il faut également des cas où le système doit s’arrêter plutôt qu’inventer.

Pour chaque entrée, définissez ce qui doit être présent, ce qui peut varier et ce qui ne doit jamais arriver. Un résumé peut changer de formulation tout en restant correct. Un montant, une unité ou une identité autorisée ne peut pas varier librement. La validation doit respecter cette différence.

Je recommande des critères spécifiques et mesurables avant la construction des évaluations. Ajoutez une grille propre à votre application : exactitude, références utilisables, schéma de sortie, choix d’outil, autorisation et délai. Évitez une note globale qui compense un accès indu par une meilleure rédaction.

Famille de casRésultat acceptableDéfaut qui bloque la bascule
ExtractionChamps exacts et format valideValeur inventée ou champ obligatoire absent
SynthèseFaits fidèles aux documents autorisésOmission qui change la décision
Information absenteRefus ou demande de précisionRéponse assurée sans preuve
Action proposéeOutil et arguments autorisésOpération hors permissions
Erreur d’outilArrêt, reprise maîtrisée ou passage humainRépétition d’une action déjà exécutée

Cette grille sépare un changement de rédaction d’une rupture de contrat. Pour une extraction, vérifiez les champs avant le style ; pour une synthèse, vérifiez aussi les omissions.

Comment tester les actions sans les exécuter ?

Les actions du modèle doivent être testées avec des outils simulés qui enregistrent ses propositions, afin de vérifier les permissions sans produire d’effet externe réel. Le modèle propose un appel ; le dispositif de test enregistre la commande et retourne un résultat maîtrisé. Une demande de suppression ou de publication ne touche ainsi aucun compte réel.

Le banc d’essai doit appliquer des permissions explicites pour contrôler les opérations autorisées. Le test doit vérifier la politique effectivement configurée, pas seulement constater que le produit propose cette fonctionnalité. Une permission large dans le banc d’essai peut masquer le défaut qui apparaîtra en production.

Ajoutez des résultats d’outils difficiles : délai dépassé, réponse vide, résultat contradictoire et action déjà exécutée. Vérifiez si le candidat recommence une action ou passe la main. La recette d’injection indirecte apporte des cas où un document essaie de commander l’agent.

Comment comparer les coûts sans tromper le décideur ?

Le coût d’une migration se compare par résultat accepté, en comptant les appels, les outils, les reprises et la revue humaine sur les mêmes tâches. Enregistrez les jetons, les outils, les tentatives supplémentaires et le temps de revue. Une moyenne isolée ne dit pas combien coûtent les cas qui dépassent le délai utile.

Distinguez le coût fournisseur du coût de traitement. Un test peut montrer une baisse de dépense API sans permettre de conclure sur la charge humaine. Publiez le détail des cas repris et la raison de chaque reprise. Dans un exemple fictif, un résumé rapide omet une clause ; son économie de jetons ne compense pas automatiquement la vérification supplémentaire.

Le niveau d’effort doit être consigné. Un candidat évalué avec un raisonnement plus long et une référence réglée pour aller vite ne mesure pas uniquement le changement de modèle. La décision doit mentionner la configuration retenue et les alternatives qui ont été comparées.

Bascule progressive avec contrôle et retour à la référence
Une migration conserve une configuration de retour et interrompt l’extension lorsqu’un défaut bloquant apparaît.

Quel critère autorise la bascule ?

La bascule vers Sonnet 5.5 exige des critères écrits avant les essais, l’absence de défaut bloquant et un retour à la référence réellement éprouvé. Le responsable métier choisit les défauts bloquants et le niveau de qualité utile ; l’équipe technique vérifie que le système peut revenir en arrière. Aucune valeur universelle ne remplace cette décision.

Commencez par un mode parallèle sans effet externe, puis par un périmètre réduit. Vérifiez la cohérence des logs, le traitement des demandes hors périmètre et le comportement des outils. Le retour à la référence doit être essayé, pas seulement décrit dans une procédure.

Conservez le rapport de comparaison avec ses limites : date, corpus, critères, paramètres et cas exclus. Une recette valide sur une extraction documentaire ne démontre pas la sûreté d’un agent autonome. Un audit IA peut préciser les contrats à vérifier avant d’élargir le périmètre.

Comment organiser la recette de migration dans l’équipe ?

La recette s’organise en séparant la référence, les critères métier, les essais sans effets externes et la décision de bascule, avec une personne responsable de chaque vérification.

  1. Écrire le contrat. Définir la tâche, les utilisateurs autorisés et les erreurs bloquantes avant de regarder les sorties du candidat.
  2. Archiver la référence. Conserver versions, données de test et résultats connus ; noter les défauts que la migration ne prétend pas corriger.
  3. Exécuter la comparaison. Rejouer les mêmes entrées sur les deux configurations et répéter les cas dont le comportement varie.
  4. Relire les écarts. Faire examiner les faits, les omissions et les permissions par les personnes qui connaissent la tâche.
  5. Essayer la bascule. Limiter le périmètre, surveiller les résultats et restaurer la référence avant toute extension si un défaut bloquant apparaît.

L’évaluation continue fournit le socle de cette comparaison. Le prompt système versionné rend les écarts explicables, et une revue programmée des sorties évite de transformer chaque annonce en migration urgente.

Quelles questions faut-il résoudre avant une migration vers Sonnet 5.5 ?

Faut-il comparer les réponses mot à mot ?

La comparaison mot à mot convient aux champs rigides, mais une synthèse doit être évaluée sur ses faits, ses omissions et ses références plutôt que sur sa formulation. Les variations de style restent séparées des erreurs métier.

Un meilleur benchmark autorise-t-il la migration ?

Un meilleur benchmark public justifie d’examiner un candidat, mais il ne valide pas ses résultats avec vos documents, vos permissions et vos outils métier. La décision reste attachée aux cas de votre application.

Peut-on garder l’ancien prompt ?

Conserver le prompt initial permet d’isoler une partie du changement de modèle, puis une campagne séparée peut mesurer les adaptations nécessaires ou les optimisations proposées. Les deux campagnes doivent rester identifiables.

Faut-il bloquer la migration pour un seul échec ?

Un seul échec peut bloquer la migration lorsqu’il viole une permission, modifie une valeur critique ou compromet une action dont les effets sont difficiles à corriger. Le caractère bloquant dépend du contrat, pas du score moyen.

Comment savoir que le retour arrière fonctionne ?

Le retour arrière fonctionne si l’équipe restaure la configuration de référence et rejoue avec succès les tâches essentielles dans l’environnement prévu pour la bascule. Vérifiez aussi les données et les actions déjà produites.

Peut-on changer plusieurs composants en même temps ?

Changer plusieurs composants simultanément exige des campagnes distinctes pour identifier les causes, car une amélioration du prompt peut masquer une dégradation introduite par le modèle. Commencez par la comparaison la plus simple.

Que livrer au terme de la recette ?

Le dossier de migration doit réunir les configurations, les cas, les résultats, les anomalies et la décision motivée, pour rendre la prochaine comparaison possible sans reconstruction.

La décision précise ce qui est accepté, refusé ou laissé en attente. Une formation IA prépare l’équipe à relire les écarts ; les métiers concernés permettent de désigner qui valide chaque résultat. Comme pour une génération majeure de modèle, une annonce ne remplace pas cette responsabilité.

Sources

Votre prochain projetParlons-en.Réserver un échange de 15 minutes sur Cal.com, dans un nouvel onglet