Prompting Vulgarisé : Les 12 Anti-Patterns et le Framework R.O.C.C.E

Le prompting, ou ingénierie de consigne, consiste à formuler une demande à un modèle de langage de façon à ce qu’il dispose de tout ce qu’il faut pour produire le résultat attendu du premier coup. C’est moins un art de la tournure qu’un travail d’information et de structure.

L’interface « chat » des grands modèles de langage crée un piège cognitif : nous pensons parler à un collègue, alors que nous pilotons un moteur probabiliste. Un collègue connaît le contexte, devine l’intention et pose des questions quand il doute. Le modèle ne connaît que ce qu’on lui donne, et il comble les trous avec la réponse la plus probable, c’est-à-dire la plus moyenne.

L’écart entre ce que l’utilisateur a en tête et ce qu’il a réellement écrit est la source de la plupart des échecs. Pour obtenir des résultats fiables, il faut passer de l’art empirique à une ingénierie de précision. Cela commence par comprendre que le modèle ne « sait » pas ce que vous voulez : il prédit une suite plausible à partir de ce que vous avez écrit.

Écrire un prompt avec le cadre R.O.C.C.E revient à remplir cinq rubriques dans un ordre précis, en commençant par l’objectif et en finissant par l’exemple qui calibre le résultat. L’ordre de rédaction diffère de l’acronyme, parce qu’on ne choisit bien le registre qu’une fois l’objectif clair.

1. Écrire l’objectif en une phrase, avec un seul verbe d’action. S’il en faut deux, il faut deux prompts.
2. Rassembler le contexte : le document, les données, l’historique. Mieux vaut un extrait pertinent qu’un copier-coller intégral.
3. Préciser le destinataire et le registre de la réponse.
4. Énoncer les contraintes : format, longueur, ce qui est interdit, et la conduite à tenir si l’information manque.
5. Ajouter un exemple du résultat attendu, même court.
6. Tester sur trois cas différents avant de réutiliser le prompt, dont un cas où l’information est absente.

Un exemple générique montre l’écart.

Pour une consigne destinée à tourner des mois dans un système, et non à un échange ponctuel, la méthode se prolonge dans écrire un prompt système qui tient six mois.

Un prompt rate presque toujours parce qu’il manque une information au modèle ou qu’il lui en donne trop, rarement parce que la formulation serait maladroite. Les douze anti-patterns qui suivent sont des variantes de ces deux défauts, observés couramment en formation comme en production.

Chacun a une correction simple, et la plupart se corrigent en ajoutant une phrase plutôt qu’en réécrivant tout.

Les modèles de langage sont devenus très tolérants aux formulations approximatives, ce qui a rendu obsolètes la plupart des astuces de formulation, alors que ce qui tient relève de la structure et de l’information. C’est la distinction à retenir avant d’investir du temps dans un prompt.

Les tournures magiques, « tu es un expert de », « prends une grande respiration », n’ont plus d’effet mesurable sur les modèles récents, et certaines n’en avaient déjà pas : des travaux sur les rôles attribués au modèle n’ont pas trouvé d’amélioration fiable de l’exactitude. C’est pourquoi la rubrique « rôle » du cadre R.O.C.C.E sert à fixer le destinataire et le registre, pas à décerner un titre.

Ce qui reste efficace ne relève pas de la formulation mais de l’information : donner le contexte nécessaire, énoncer les contraintes, montrer un exemple du résultat attendu, et dire quoi faire en cas de doute. Ces éléments se testent, et la méthode figure dans construire un jeu de tests en une journée.

En production, l’anti-pattern le plus coûteux consiste à demander plusieurs choses différentes dans une seule consigne, ce qui dégrade chacune d’elles sans que cela se voie sur un cas isolé. C’est l’erreur la plus fréquente sur les systèmes réels.

Une consigne qui demande simultanément une classification, une extraction de dates, un résumé et une évaluation de risque produit les quatre médiocrement. Le modèle répartit son attention.

La règle qui corrige : un appel, une intention. Cela double le nombre d’appels et améliore sensiblement les résultats, tout en permettant d’envoyer chaque intention au palier de modèle qui lui convient. C’est le raisonnement de choisir le palier, pas le modèle.

Dire explicitement au modèle quoi faire quand l’information manque est la partie la plus rentable d’une consigne, et la plus souvent absente. Sans elle, le modèle improvise.

La formulation utile est directe : si l’information nécessaire ne figure pas dans les documents fournis, répondre qu’elle n’y figure pas et indiquer où la chercher. Deux phrases, et elles changent le comportement du système sur la classe de cas la plus dangereuse.

Le piège à éviter est la formulation inverse, qu’on rencontre partout : « si tu ne trouves pas, cherche dans les documents connexes ». Cette instruction transforme un refus légitime en réponse fondée sur une source non pertinente, ce qui est bien pire.

Ce comportement doit être testé au même titre que le reste, avec une dizaine de questions hors périmètre dans le jeu de tests. Le raisonnement complet figure dans le refus de répondre est une fonctionnalité.

Sur un système documentaire en production, la consigne ne représente qu’une petite part de la qualité ; le corpus et la récupération en représentent l’essentiel. C’est le rappel qui évite de perdre des semaines.

Le réflexe devant une mauvaise réponse est d’ouvrir la consigne, parce qu’elle est visible et modifiable. C’est la troisième chose à regarder.

La vérification qui tranche prend dix minutes : sur cinq mauvaises réponses réelles, l’information correcte figurait-elle dans le contexte fourni ? Si elle n’y était pas, aucun travail de formulation n’y changera rien, comme détaillé dans le corpus est le projet.

L’ingénierie de prompt n’est donc pas de la magie, c’est de la communication structurée. Le geste qui capitalise est collectif : créer une bibliothèque de prompts partagée dans l’équipe, avec pour chacun son objectif, ses cas de test et sa date de dernière vérification. C’est le type de pratique qu’une formation à l’IA générative installe plus durablement qu’une liste d’astuces.