Qu’est-ce que la mémoire d’un assistant IA, et pourquoi la tester ?
La mémoire d’un assistant IA est un contexte persistant que le système conserve d’une conversation à l’autre, préférences, faits, consignes, et qu’il réutilise ensuite selon la pertinence qu’il estime, ce qui exige une recette spécifique. Un assistant qui se souvient peut faire gagner du temps ; il peut aussi conserver une mauvaise information et la réutiliser plusieurs semaines plus tard.
Pour évaluer sa mémoire, je propose de tester quatre opérations séparées : écrire, retrouver, corriger et supprimer. Le rappel d’une préférence agréable ne démontre pas que les trois autres fonctionnent.
Les notes Mistral du 22 septembre 2026 annoncent une Knowledge Base de Vibe Work et la migration des anciennes Memories en sujets consultables. Elles présentent un rappel lié à la pertinence du contexte. Cette annonce suffit à motiver une recette dédiée, sans déduire une fiabilité mesurée ni les détails de stockage du produit.
Pour situer votre propre cas après cette lecture, utilisez le grille de recette d’un agent ia : quels cas tester . En trois minutes maximum, vous obtenez un aperçu de votre niveau, puis l’analyse détaillée et les recommandations après avoir demandé votre résultat avec vos coordonnées professionnelles.
Quelles opérations de mémoire faut-il tester séparément ?
Les quatre opérations de mémoire à tester séparément sont l’écriture, le rappel, la correction et la suppression, parce que la réussite de l’une ne garantit aucune des trois autres. Le tableau suivant précise ce que chaque test permet d’observer et ce qu’il ne prouve pas.
| Opération | Ce qu’on teste | Résultat attendu | Ce que le test ne prouve pas |
|---|---|---|---|
| Écriture | Un fait explicite est-il conservé ? | Visible dans l’interface de gestion | Les détails internes du stockage |
| Rappel | Le fait revient-il dans une conversation neuve ? | Information correcte, sinon absence assumée | Une fiabilité générale sur tous les usages |
| Correction | La nouvelle valeur remplace-t-elle l’ancienne ? | Valeur actuelle ou demande de clarification | L’absence de l’ancienne valeur ailleurs |
| Suppression | Le fait disparaît-il des réponses ? | Plus aucun rappel du marqueur | L’effacement des journaux et sauvegardes |
Où placer la frontière de confiance d’une mémoire ?
La frontière de confiance d’une mémoire d’assistant se place ainsi : une mémoire est un contexte persistant, jamais une source d’autorité ni une permission. Une préférence de présentation peut aider à formater un compte rendu. Elle ne doit pas devenir une permission de transmettre un fichier.
Cette séparation doit rester vraie même si l’utilisateur a formulé la préférence de manière insistante.
Avant le test, écrivez ce que le système peut conserver et ce qui doit rester dans une source contrôlée. Pour une règle métier, gardez un document de référence avec une date et un propriétaire. Pour une préférence personnelle, prévoyez un moyen de consultation et de correction. Pour une autorisation, utilisez un mécanisme de droits indépendant du texte mémorisé, comme le rappelle la question de l’identité et des droits d’un agent.
Cette distinction rejoint les tests d’injection indirecte d’un agent. Une instruction rencontrée dans un document ne doit pas acquérir une autorité supplémentaire simplement parce qu’elle a été conservée. Le stockage ne transforme pas une donnée non fiable en consigne légitime.

Comment préparer des données de test pour la mémoire ?
Les données de test pour la mémoire d’un assistant doivent être fictives, reconnaissables et absentes de toute autre source, afin de distinguer un vrai rappel d’une information déjà présente ailleurs. C’est la condition pour que les résultats soient interprétables.
Créez un petit jeu de faits synthétiques. Par exemple : le projet fictif Orme utilise un code de dossier inventé, puis change de code à une date donnée. Le marqueur doit être absent des sources documentaires et des autres conversations de test.
Consignez le compte, l’espace, le réglage de mémoire et la version visible du produit. Démarrez une conversation séparée pour tester le rappel. Poser la question dans le fil qui contient déjà la réponse mesure surtout l’usage du contexte courant. Répétez les scénarios importants avec plusieurs formulations et conservez les sorties exactes, selon la logique d’un jeu de tests construit en une journée.
Ne placez pas de vrais secrets dans cette recette. Une chaîne fictive suffit pour observer une divulgation. Un test de frontière entre utilisateurs doit employer des comptes de test autorisés, avec des données créées pour cet exercice. Le protocole ne justifie pas de sonder les informations de personnes réelles.
Comment dérouler le protocole de test pas à pas ?
Le protocole de test de la mémoire d’un assistant se déroule en sept étapes, de la politique de mémorisation à la décision d’usage, chacune produisant une trace reproductible. L’ordre permet de relancer la recette à chaque évolution du produit.
- Écrire la politique : ce qui peut être mémorisé, ce qui doit rester dans une source contrôlée, ce qui ne doit jamais entrer.
- Créer les marqueurs fictifs et vérifier qu’ils n’existent nulle part ailleurs.
- Tester l’écriture explicite, puis l’écriture implicite d’informations seulement évoquées.
- Tester le rappel dans des conversations neuves, avec plusieurs formulations.
- Tester la correction par une nouvelle valeur, sans rappeler soi-même le changement.
- Tester la suppression, en distinguant désactivation de la fonction et retrait des entrées.
- Rédiger la décision d’usage avec les limites d’observation, et la reporter dans la fiche du système.
Comment évaluer l’écriture sans la confondre avec le rappel ?
Évaluer l’écriture en mémoire consiste à vérifier qu’un fait explicite apparaît dans l’interface de gestion, indépendamment de sa réutilisation ultérieure, qui relève du rappel. Si le produit affiche une indication d’écriture, enregistrez-la comme un signal d’interface ; elle ne démontre pas, à elle seule, tous les détails du stockage.
Testez séparément les informations seulement évoquées. Le résultat attendu dépend de la politique retenue par votre organisation et des fonctions du produit. Une mémorisation implicite peut être utile pour des préférences anodines et indésirable pour un contexte temporaire. Si les réglages ne permettent pas la séparation recherchée, il faut le noter comme une limite d’usage.
Ajoutez une phrase qui ressemble à une instruction permanente dans un document de test. L’assistant doit la traiter comme une donnée provenant de ce document. Si elle devient une règle durable, analysez le chemin d’entrée et les protections disponibles avant d’autoriser cet usage en production.
Comment mesurer le rappel et ses erreurs ?
Le rappel d’une mémoire d’assistant se mesure en trois résultats distincts, information correcte, absence de rappel et information incorrecte, qu’il ne faut jamais regrouper. Une absence peut conduire à demander confirmation. Un souvenir faux présenté avec assurance peut orienter une mauvaise décision sans alerte.
Pour chaque scénario, notez le nombre d’exécutions et les critères de réussite. Ne publiez pas un pourcentage sans son dénominateur. Un petit jeu sert à découvrir des défauts ; il ne permet pas de généraliser une fiabilité à tous les usages. Les cas rares mais graves demandent des tests dédiés, même s’ils pèsent peu dans la moyenne.
Lorsque l’assistant utilise également des documents, gardez les contrôles décrits dans RAG et droits d’accès. Une information extraite puis mémorisée peut survivre au document initial. La recette doit donc couvrir les copies dérivées et les réponses enregistrées, selon le fonctionnement effectivement accessible. Un souvenir faux ressemble alors beaucoup à un assistant qui invente sur vos propres documents.
Comment tester la correction d’une information devenue fausse ?
Tester la correction en mémoire consiste à introduire une nouvelle valeur qui remplace explicitement l’ancienne, puis à vérifier dans une conversation neuve laquelle l’assistant utilise. Demandez la réponse sans rappeler vous-même la correction. Vérifiez si le système utilise la valeur actuelle, conserve les deux comme contradictoires ou revient à l’ancienne.
La bonne sortie peut être une demande de clarification lorsque les sources se contredisent. Le produit ne doit pas inventer une règle de priorité que votre organisation n’a pas définie. Pour les faits engageants, une confirmation dans la source métier reste préférable à une confiance implicite dans le souvenir.
Testez aussi le changement de rôle. Une personne qui travaillait sur un projet peut en sortir. Sa mémoire ne doit pas servir à contourner les contrôles d’accès à ce projet. L’évaluation des droits et celle de la pertinence sont deux sujets distincts, à traiter avec des critères distincts.
La mémoire persistante de Hermes Agent offre un cas d’application : vérifier l’écriture, le rappel, la correction et l’oubli dans des conversations séparées, puis examiner les sauvegardes.

Comment tester l’oubli avec une attente réaliste ?
Tester l’oubli d’un assistant IA suppose de distinguer la désactivation de la fonction mémoire et la suppression effective des entrées, puis de vérifier l’absence du marqueur dans de nouvelles conversations. Couper une fonction ne doit pas être interprété comme effacer son contenu, sauf si la documentation et les engagements du produit établissent cette équivalence.
Vérifiez le comportement prévu dans la documentation de votre offre, puis testez le retrait avec le marqueur fictif. Après suppression, contrôlez l’interface et de nouvelles conversations. Une réponse qui ne mentionne plus le marqueur constitue une observation utile. Elle ne démontre pas l’effacement des journaux, exports ou sauvegardes techniques. Ces éléments relèvent des engagements et des procédures du fournisseur, à examiner séparément.
La recette doit préciser ce qu’elle prouve et ce qu’elle ne peut pas observer. Cette discipline permet de rédiger une décision honnête : usage autorisé pour des préférences, limité pour certains contextes ou suspendu pour des informations sensibles. Un audit de votre système IA peut articuler ces tests avec l’architecture et les responsabilités réelles.
Que la mémoire d’un assistant ne doit-elle jamais retenir ?
Je recommande de définir avant toute recette les données exclues de la mémoire, notamment les secrets et informations sensibles, selon les autorisations, contrats et exigences du contexte concerné. Sans cette règle, le test vérifie un comportement que personne n’a spécifié.
La frontière se pose sur les mêmes critères que ceux qui décident de ce qu’on peut envoyer à un modèle. Le cadre est détaillé dans confidentialité : ce qu’on a le droit de mettre dans un prompt, et les précautions de transformation des données dans anonymiser avant d’envoyer.
Quelle est la portée du protocole de test de mémoire proposé ?
Ce protocole est une méthode de recette proposée pour examiner des comportements observables, sans revendiquer un score de performance du fournisseur ni une preuve d’effacement de toutes ses sauvegardes.
Le protocole présenté est une méthode proposée par Anand Candassamy. Aucun score de performance de Mistral n’est revendiqué dans cet article.
Quelles questions précisent ce qu’un test de mémoire peut prouver ?
Un test de mémoire doit distinguer rappel correct, absence, erreur et suppression observable, avec des données fictives et des limites explicites sur les informations non accessibles.
Questions fréquentes
Une mémoire correcte une fois est-elle fiable ?
Non. Testez plusieurs conversations et formulations, puis distinguez rappel exact, absence et erreur. Une exécution réussie reste un résultat ponctuel.
Désactiver la mémoire efface-t-il les souvenirs ?
Pas nécessairement. Vérifiez les réglages et les engagements du produit utilisé, sans supposer que désactivation, suppression visible et effacement des sauvegardes sont équivalents.
Que faut-il conserver dans le rapport de test ?
Les scénarios fictifs, les réglages, les versions visibles, les résultats, les limites d’observation et la décision d’usage. Ces éléments permettent une nouvelle recette après évolution du produit.
Une préférence mémorisée peut-elle valoir autorisation ?
Non. Une mémoire est un contexte persistant, pas une permission. Les autorisations doivent reposer sur un mécanisme de droits indépendant du texte mémorisé, même si l’utilisateur a insisté.
Pourquoi tester le rappel dans une conversation neuve ?
Parce que dans le fil qui contient déjà l’information, l’assistant utilise simplement le contexte courant. Une conversation séparée, avec un marqueur absent des autres sources accessibles, permet de mieux isoler le rappel de mémoire.
Faut-il utiliser de vraies données pour tester la mémoire ?
Non. Des marqueurs fictifs et reconnaissables suffisent à observer l’écriture, le rappel et une éventuelle divulgation. Les vrais secrets et les informations de personnes réelles n’ont pas leur place dans la recette.
