Agents : le risque croît avec la durée sans contrôle

Une exécution longue d’agent IA est une tâche qu’un agent mène seul pendant des dizaines de minutes ou plusieurs heures, en enchaînant de nombreux appels d’outils et décisions intermédiaires sans validation humaine entre chaque étape. Dans son annonce du 22 mai 2025, Anthropic présente Claude Opus 4 comme capable de travailler plusieurs heures d’affilée sur une même tâche. Cette annonce ne fournit pas une garantie pour tous les environnements.

La capacité annoncée ouvre des usages à tester sur leur propre périmètre. Mais elle change la question de sécurité : il ne s’agit plus seulement de savoir ce que l’agent a le droit de faire, comme dans le périmètre avant l’autonomie, mais combien de temps il peut le faire sans qu’on vérifie.

Un agent qui travaille plusieurs heures sans contrôle accumule les conséquences de ses erreurs au lieu de les révéler, parce qu’une erreur commise tôt oriente toutes les étapes suivantes. C’est la différence de fond avec une exécution courte, et elle est plus importante que la capacité elle-même.

Sur une exécution de quelques minutes, une erreur se manifeste vite : le résultat est visiblement faux, on recommence. Sur une exécution longue, une erreur commise au dixième pas oriente les quarante suivants. Le résultat final paraît cohérent parce qu’il l’est : avec une prémisse fausse.

Cette cohérence trompeuse est le vrai danger. Elle rend l’erreur difficile à repérer par relecture, précisément parce que rien ne cloche localement.

Un exemple générique : un agent chargé de rapprocher des factures et des bons de commande se trompe de règle d’arrondi au début du lot. Chaque rapprochement suivant est cohérent avec cette règle, et le rapport final ne présente aucune anomalie visible.

Découper une exécution longue en étapes vérifiables vaut mieux qu’un humain qui regarde défiler, parce qu’une attention soutenue ne doit pas constituer l’unique barrière de contrôle. C’est un constat ergonomique, pas un choix de méthode.

La supervision continue peut perdre en efficacité : au bout d’un certain temps, l’attention décroche, et la validation devient un réflexe. Elle donne l’illusion du contrôle sans le fournir.

Un point d’arrêt fonctionne différemment. Le système s’arrête, présente ce qu’il a établi, et attend une décision. La personne consacre deux minutes d’attention réelle à un état résumé, ce qui est bien plus efficace que deux heures d’attention flottante.

Le bon découpage suit les décisions structurantes, pas le temps écoulé. Le cadre est développé dans supervision humaine : la concevoir, pas la promettre.

Une exécution longue d’agent demande des limites d’actions, de dépense et de tentatives, ainsi que des points d’arrêt et des journaux permettant de reconstituer sa progression.

• Un budget d’actions, pas seulement de temps. Une boucle rapide consomme un budget en quelques minutes.
• Un budget de dépense, appliqué par le système et non par une consigne. Voir une grande fenêtre reste une facture.
• Un point d’arrêt avant toute action irréversible, quel que soit le stade de l’exécution.
• Un journal exploitable : l’intention de chaque étape, l’outil appelé, le résultat obtenu, la décision prise.

Borner une exécution longue d’agent se fait en cinq étapes, du découpage de la tâche en décisions structurantes jusqu’au rejeu des incidents dans le jeu de tests. Ces étapes se posent avant la première exécution réelle.

1. Découper la tâche en décisions structurantes et repérer les actions irréversibles.
2. Placer un point d’arrêt après chaque décision structurante et avant chaque action irréversible.
3. Fixer les budgets d’actions, de dépense et de tentatives par sous-tâche, appliqués par le système.
4. Définir le format du résumé présenté à chaque point d’arrêt : ce qui est établi, ce qui reste incertain, la décision attendue.
5. Rejouer les incidents dans un jeu de tests pour vérifier que les bornes tiennent après chaque changement.

Les outils connectés par un protocole commun, comme ceux décrits dans MCP, le protocole qui rend les agents branchables, élargissent ce qu’un agent peut faire en une exécution : les bornes doivent suivre.

Un agent qui n’avance plus doit s’arrêter selon des conditions définies et rendre compte de son blocage, sans multiplier indéfiniment les approches coûteuses ou les actions risquées. C’est la règle qui distingue un système exploitable d’un système coûteux.

Le comportement par défaut d’un agent bloqué est la persévérance : il essaie autrement, puis encore autrement. Chaque tentative consomme des appels et éloigne du point de départ, sans que rien ne signale l’impasse.

La borne à poser est simple : je peux commencer par trois tentatives infructueuses sur la même sous-tâche, comme réglage personnel à ajuster selon le risque, puis imposer l’arrêt et remonte ce qu’il a compris du blocage. Cette remontée vaut souvent plus que le résultat attendu, parce qu’elle désigne exactement où le système manque d’information ou de droit.

J’applique la même logique au doute : un agent qui hésite entre deux interprétations doit demander, pas choisir. Le cadre général est posé dans ce qu’on ne délègue jamais à un modèle.

Les exécutions longues d’agent créent de la valeur sur les tâches qui explorent un espace large avec un critère de succès vérifiable à la fin. Les autres gagnent à être découpées.

Trois familles fonctionnent bien. La recherche documentaire exhaustive, où l’agent parcourt de nombreuses sources et où le résultat se vérifie par les citations. Le traitement d’un lot d’éléments indépendants, où chaque unité est vérifiable séparément. Et la production d’un livrable dont la correction se teste automatiquement.

Ce qui rend ces trois cas viables est la vérifiabilité du résultat, pas la longueur de l’exécution. Un agent qui travaille deux heures sur une tâche dont personne ne peut vérifier le résultat produit un objet dont personne ne peut rien faire.

Le critère de sélection est donc antérieur au choix technique : sait-on dire, à la fin, si c’est juste ?

Avant une action irréversible, l’agent doit s’arrêter et présenter les effets attendus au rôle autorisé, avec une décision explicite sur l’opération réellement proposée.

Un point d’arrêt obligatoire avant toute action irréversible, quel que soit le temps déjà passé. Cette règle limite le risque, à condition que l’interception soit effective et que l’agent ne dispose pas d’un autre chemin pour exécuter l’action.

Une exécution longue d’agent suppose que quelqu’un soit disponible aux points d’arrêt, ce qui est une contrainte d’organisation avant d’être une contrainte technique. Elle est régulièrement oubliée au cadrage.

Un agent qui s’arrête à onze heures du soir pour demander une validation attend jusqu’au lendemain matin. Si l’exécution était censée produire un résultat pour la première heure, elle a échoué sans erreur technique.

Deux réglages résolvent la plupart des cas. Programmer les exécutions longues de façon que leurs points d’arrêt tombent en heures ouvrées. Et distinguer les validations bloquantes des validations différables : une action irréversible bloque, un choix d’orientation peut être pris par défaut avec possibilité de correction.

Ce travail de conception vaut mieux que l’alternative fréquente, qui consiste à supprimer les points d’arrêt pour éviter l’attente.

Les erreurs les plus fréquentes avec un agent qui travaille longtemps consistent à confondre surveillance et contrôle, à ne borner que le temps et à supprimer les points d’arrêt pour gagner en vitesse. Toutes trois laissent une dérive franchir le seuil du rattrapable.

• Demander à quelqu’un de « garder un œil » sur l’exécution au lieu de prévoir des points d’arrêt.
• Borner la durée sans borner les actions ni la dépense.
• Accorder les mêmes droits à un agent long qu’à un agent qui ne fait qu’une action, alors que piloter un écran ne vaut pas droit de tout cliquer.
• Ne journaliser que le résultat final, ce qui rend impossible de retrouver l’étape où la prémisse fausse est apparue.

Avant de confier une tâche longue à un agent sur un processus réel, un audit IA permet de repérer les actions irréversibles et les points d’arrêt nécessaires.

Laisser un agent travailler longtemps exige de préciser les tâches vérifiables, les budgets, les conditions d’arrêt et les personnes disponibles pour les décisions qui engagent l’organisation.