Le décalage entre le programme et la salle
Un programme qui consacre ses premières séances à la prise en main s'adresse à des étudiants qui utilisent ces outils quotidiennement depuis deux ans. Le décalage est visible dès la première heure et il coûte cher en crédibilité.
J'interviens dans plusieurs écoles, et le constat est le même partout. Les étudiants savent formuler une demande, itérer, comparer deux sorties. Ils l'ont appris seuls, par usage.
Ce qu'ils n'ont pas appris, et qu'aucun usage intensif ne donne, c'est le discernement : savoir quand la réponse est plausible et fausse, quand l'outil n'est pas le bon, et ce qu'ils engagent en s'en servant.
Ce qu'un usage intensif n'apprend pas
Vérifier une affirmation, reconnaître une source absente, et mesurer un écart entre deux sorties ne s'apprennent pas par la pratique seule. Ce sont les trois compétences à enseigner explicitement.
La vérification, d'abord. Un étudiant qui utilise un modèle depuis deux ans a développé une confiance calibrée sur ses propres sujets et pas sur les autres. Face à un domaine qu'il ne maîtrise pas, il n'a aucun réflexe de contrôle.
La reconnaissance d'une source absente ensuite : une réponse fluide, structurée et sans référence est exactement ce qu'un modèle produit le mieux, et c'est ce qui trompe le plus.
La mesure d'un écart, enfin. Comparer deux sorties et dire laquelle est meilleure, sur un critère explicite, est un exercice qu'aucun étudiant ne fait spontanément. C'est pourtant le geste central de tout travail sérieux, et il se transmet en un exercice, comme dans construire un jeu de tests en une journée.
Ce que je fais à la place de la prise en main
- Un exercice de vérification : une sortie plausible contenant trois erreurs factuelles, à trouver et à sourcer.
- Une comparaison à critère explicite entre deux modèles sur la même tâche, avec une grille qu'ils construisent eux-mêmes.
- Un cas où l'outil n'est pas la réponse, et où la bonne solution est une règle métier. Voir agent ou simple appel.
- Une lecture de conditions d'utilisation, pour comprendre ce qu'ils cèdent en utilisant un service gratuit.
La question de l'évaluation, qui est le vrai sujet
Un travail rendu qui a été produit avec un modèle n'est pas détectable de façon fiable, et bâtir l'évaluation sur cette détection est une impasse. C'est le sujet qui occupe le plus les équipes pédagogiques, et il est mal posé.
Les outils de détection existent, leur taux de faux positifs les rend inutilisables pour une décision individuelle, et accuser un étudiant à tort est un dommage bien supérieur au problème qu'on cherche à éviter. Le raisonnement complet figure dans le filigrane n'est pas une preuve.
La réponse qui fonctionne est de changer ce qu'on demande. Un exercice dont la réponse se génère en trente secondes n'évalue plus rien : il faut demander autre chose.
Demander la démarche, les sources, les alternatives écartées, ou faire soutenir le travail à l'oral, restaure l'évaluation sans aucune détection.
Ce que ça change pour les enseignants
L'écart de compétence entre l'enseignant et l'étudiant sur l'outil lui-même n'est plus favorable à l'enseignant, et c'est inconfortable. Autant l'assumer d'emblée.
Un étudiant qui utilise ces outils huit heures par jour connaît mieux leurs comportements qu'un enseignant qui les découvre pour préparer un cours. Prétendre le contraire se voit en dix minutes.
Ce que l'enseignant apporte est ailleurs, et c'est plus solide : la méthode de vérification, la connaissance du domaine qui permet de repérer une erreur, et le recul sur ce qui engage.
Je commence donc mes interventions en le disant. Cela change la posture de la salle et permet de passer directement à ce qui a de la valeur, ce qui rejoint l'approche décrite dans former deux cents personnes à l'IA générative.
L'exercice qui recadre un cours en une heure
Donner une sortie de modèle fluide, structurée et contenant trois erreurs factuelles. Demander de les trouver et de les sourcer. Presque personne n'en trouve trois, et la suite du cours est écoutée autrement.
Ce qu'il faut garder du programme initial
Les fondements techniques restent utiles, à condition d'arriver après le discernement et pas avant. L'ordre est ce qui change, pas le contenu.
Comprendre ce qu'est un modèle de langue, pourquoi il produit des affirmations fausses avec assurance, et ce qu'est une fenêtre de contexte, éclaire les réflexes de vérification. Ces notions prennent tout leur sens une fois qu'on a buté sur une erreur.
Placées en ouverture, elles sont perçues comme une théorie sans usage. Placées après l'exercice de vérification, elles répondent à une question que les étudiants viennent de se poser.
Ce déplacement de l'ordre, sans changement de contenu, est le meilleur rapport effort-résultat que je connaisse sur un cursus existant.
Questions fréquentes
Faut-il encore enseigner la prise en main ?
Non. Les étudiants savent formuler, itérer et comparer deux sorties, appris seuls par usage. Ce qui manque est le discernement, qu'aucun usage intensif ne donne.
Que faut-il enseigner à la place ?
Vérifier une affirmation, reconnaître une réponse sans source, et mesurer un écart entre deux sorties sur un critère explicite. Ces trois gestes ne s'acquièrent pas par la pratique seule.
Comment évaluer si les travaux sont générés ?
Pas par la détection, dont le taux de faux positifs interdit toute décision individuelle. En changeant ce qu'on demande : la démarche, les sources, les alternatives écartées, ou une soutenance orale.
Faut-il supprimer les fondements techniques ?
Non, les déplacer. Placés après un exercice de vérification, ils répondent à une question que les étudiants viennent de se poser ; placés en ouverture, ils passent pour de la théorie.