Ce qu'on ne délègue jamais à un modèle
GouvernanceÉthiqueConceptionSupervision2023-10-177 min
Il ne s'agit pas de ce que le modèle sait faire, mais de ce dont quelqu'un doit répondre. La distinction est simple et elle ne bouge pas.
Une question de responsabilité, pas de capacité
La question posée est presque toujours : est-ce que le modèle en est capable. C'est la mauvaise entrée.
La bonne question est : qui répond de cette décision devant la personne qu'elle affecte. Si la réponse est « personne », la décision ne se délègue pas, quelle que soit la qualité du système.
Les quatre catégories
- Ce qui affecte durablement une personne : un recrutement, une sanction, un refus de crédit, une orientation scolaire. Le règlement européen les classe d'ailleurs à haut risque à l'annexe III.
- Ce qui engage l'organisation vis-à-vis d'un tiers : un envoi, une signature, un engagement contractuel, une communication publique.
- Ce qui est irréversible : un paiement, une suppression, une publication. Aucune qualité de modèle ne rend ces actions annulables.
- Ce qui relève d'un arbitrage de valeurs : choisir entre deux intérêts légitimes, c'est le travail de quelqu'un qui en répond.
Ce que le système peut faire à la place
Beaucoup, et c'est le point que je tiens à rétablir : refuser la délégation de la décision ne revient pas à écarter l'outil.
Il peut préparer entièrement le dossier, rassembler les éléments, signaler les incohérences, proposer une recommandation motivée et sourcée. Le temps gagné est réel et souvent supérieur à celui que gagnerait une automatisation complète, parce qu'une automatisation complète exige une relecture si lourde qu'elle annule le bénéfice.
La personne qui décide arrive avec tout sous la main. Elle décide en quelques minutes au lieu de quelques heures.
Le test que j'utilise en cadrage
« Si cette décision est contestée dans six mois, qui l'explique, et avec quoi ? » Si la réponse est « on regardera les journaux », la décision est déjà déléguée à un système et personne ne l'a voulu.
Pourquoi cette ligne se déplace toute seule
Elle se déplace par petits pas, et c'est ce qui la rend dangereuse. Un système propose, un humain valide. Le taux de justesse monte. La validation devient une formalité. Six mois plus tard, personne ne relit plus vraiment.
C'est le biais d'automatisation, et il ne se corrige pas par une note de service. Il se corrige par la conception : dimensionner le débit sur la capacité de relecture, mesurer le temps passé par décision, et surveiller un taux de refus qui ne doit jamais tomber à zéro.
Ce que la vitesse a changé à cette frontière
Plus une interaction est rapide, moins l'utilisateur vérifie, et plus la frontière de délégation doit être posée à l'avance. C'est le déplacement introduit par les modèles conversationnels rapides.
Un système qui répond en huit secondes laisse le temps de douter. Un système qui répond instantanément, dans le flux d'une conversation ou d'une action en cours, ne le laisse pas. L'utilisateur enchaîne.
La conséquence est directe : dans un usage rapide, le refus doit être aussi rapide que la réponse, et le périmètre doit être plus étroit, pas plus large. Le raisonnement complet figure dans la latence devient un critère de conception.
La frontière quand le système agit, et non plus seulement répond
Dès qu'un système peut déclencher une action, la question cesse d'être « la réponse est-elle bonne » pour devenir « qu'est-ce qu'il a le droit de faire seul ». Les catégories restent les mêmes, l'enjeu change d'échelle.
Une réponse fausse se corrige. Un message envoyé est envoyé, une écriture en base est écrite. Le classement par réversibilité devient alors le seul cadre opérant, et il doit être validé par celui qui répondra des actions.
Ce cadre est développé dans le périmètre avant l'autonomie, et son absence explique une bonne part des projets d'agents arrêtés avant la mise en service.
Questions fréquentes
- Sur quel critère décider ce qui ne se délègue pas ?
Sur la responsabilité, pas sur la capacité. La question n'est pas ce que le modèle sait faire, mais ce dont une personne doit répondre devant un tiers, un client, un salarié, un contrôleur.
- Que peut faire le système à la place ?
Préparer, documenter, proposer. Un système qui rassemble les éléments d'une décision et la prépare apporte l'essentiel de la valeur sans prendre la décision lui-même.
- Cette frontière bouge-t-elle avec les progrès des modèles ?
Non, parce qu'elle ne porte pas sur la capacité. Elle bouge quand l'organisation décide qu'elle bouge, et cette décision doit être explicite et datée.
- Qu'est-ce que la rapidité change ?
Elle réduit le temps de vérification : l'utilisateur enchaîne au lieu de douter. Dans un usage rapide, le périmètre doit être plus étroit et le refus aussi rapide que la réponse.
Comment faire valider cette frontière, et par qui
Le classement des actions doit être validé par la personne qui répondra de leurs conséquences, jamais par l'équipe technique seule. C'est la validation qui manque le plus souvent, et son absence se paie à la mise en service.
Le schéma d'échec est constant. L'équipe technique construit un système capable d'agir, le présente, et découvre au déploiement qu'un responsable métier refuse, à juste titre, puisqu'il n'a pas participé à la définition du périmètre.
La parade tient en une demi-journée d'atelier au cadrage : lister les actions candidates, les classer par réversibilité, et faire signer le classement par le responsable concerné. Ce document n'a aucune valeur juridique particulière et il change tout, parce qu'il rend la décision explicite et datée.
J'ajoute une relecture trimestrielle de ce classement, parce que les usages dérivent et que le périmètre doit suivre, le mécanisme décrit dans écrire la fiche d'un système d'IA.