Écrire la fiche d'un système d'IA

Une fiche d'une page par système déployé couvre l'essentiel de ce qu'un contrôle demandera, et elle n'existe presque jamais. La raison n'est pas la charge de travail : c'est que personne n'est désigné pour l'écrire.

La documentation exigible est souvent perçue comme un dossier volumineux à produire par un service spécialisé. Cette perception paralyse : le dossier ne commence jamais, et rien n'existe.

Une page rédigée par l'équipe qui a construit le système vaut infiniment mieux que rien, et constitue le socle de tout dossier plus complet ensuite. Elle prend une heure.

La finalité doit nommer la décision que le système sert, pas la fonction qu'il remplit. C'est la rubrique qui révèle le plus de choses.

« Répondre aux questions sur les procédures » n'est pas une finalité : c'est une fonction. « Permettre à un gestionnaire de vérifier l'applicabilité d'une procédure avant de traiter un dossier » en est une, parce qu'elle nomme qui décide quoi.

Cette formulation révèle régulièrement qu'un système poursuit deux finalités : informer les collaborateurs et, accessoirement, orienter des décisions engageantes. Ces deux usages n'ont pas le même régime, et les mélanger est précisément ce qui rend une évaluation de risque impossible.

Quand deux finalités apparaissent, il faut soit les séparer en deux systèmes, soit retenir la plus exigeante.

Indiquer la source des données ne suffit pas : il faut préciser quand les droits d'accès sont appliqués dans la chaîne. C'est le détail qui distingue une protection d'une apparence de protection.

Deux architectures coexistent dans les systèmes que je reprends. Dans la première, les droits filtrent les documents avant la recherche : le système ne peut pas lire ce que l'utilisateur n'a pas le droit de voir. Dans la seconde, la recherche porte sur tout et le résultat est filtré ensuite.

La seconde est bien plus fréquente parce qu'elle est plus simple à écrire. Elle laisse le modèle lire des documents interdits et formuler une réponse à partir d'eux, avant qu'un filtre ne masque la source. La réponse, elle, est déjà partie.

Cette précision tient en une ligne dans la fiche et elle a plus de valeur qu'un paragraphe sur la sécurité en général.

Écrire « supervision humaine assurée » ne documente rien ; il faut nommer qui, quand, et avec quel moyen de refuser. C'est la rubrique la plus souvent creuse.

Trois conditions rendent une supervision réelle. La personne voit ce qui va se passer, avant que cela se passe. Elle dispose du contexte pour juger, ce qui suppose que la source soit affichée. Et elle a le temps de le faire, ce qui suppose que le volume soit compatible avec une attention réelle.

Une supervision qui échoue sur l'une des trois est une formalité : elle protège juridiquement sans protéger réellement, ce qui est la pire configuration.

La formulation utile ressemble à ceci : « le gestionnaire voit la proposition et la source avant validation ; il traite en moyenne quarante dossiers par jour ; il peut renvoyer le dossier en traitement manuel d'un clic ». Trois lignes, vérifiables, la même exigence de concret que dans ce qu'on ne délègue jamais à un modèle.

Le bénéfice principal de cet exercice est de révéler les systèmes qui ont dérivé de leur finalité initiale, et ils sont nombreux. C'est un effet secondaire qui justifie l'exercice à lui seul.

Un système construit pour aider à retrouver une information finit souvent par orienter des décisions, sans qu'aucune décision explicite n'ait été prise. La dérive est progressive : les utilisateurs font confiance, puis s'appuient, puis cessent de vérifier.

Rédiger la fiche oblige à constater cette dérive, parce qu'il faut nommer la décision servie. Si celle qu'on nomme aujourd'hui n'est pas celle du départ, le régime du système a changé et son encadrement doit suivre.

C'est aussi ce qui rend la date de revue indispensable : une fiche exacte à la mise en service ne l'est plus dix-huit mois plus tard, et le seul moyen de s'en apercevoir est de la relire, le principe posé dans l'AI Act en vigueur : ce que l'ingénieur doit livrer.