Les embeddings, expliqués à une direction

Un embedding est une représentation numérique d’un texte qui place chaque passage dans un espace de sens, de sorte que deux textes parlant de la même chose se retrouvent voisins même sans mot commun. C’est la brique qui permet à un assistant d’IA de retrouver un document formulé autrement que la question.

C’est l’explication que j’utilise. Une recherche lexicale simple compare surtout les mots. Sans dictionnaire de synonymes ni autre enrichissement, elle peut manquer le rapprochement entre « congés payés » et « vacances ».

Un embedding transforme chaque morceau de texte en une position dans un espace, de telle sorte que deux textes qui parlent de la même chose se retrouvent voisins : même s’ils n’emploient aucun mot commun. Chercher revient alors à regarder ce qui se trouve à proximité de la question.

C’est tout. Les mathématiques n’ont pas besoin d’être comprises pour arbitrer. La conséquence pratique, elle, mérite plus d’attention, parce qu’elle engage le coût, la langue et la fiabilité de tout système de recherche documentaire augmentée (RAG).

Une recherche par embeddings fonctionne en cinq étapes : découper les documents, calculer la position de chaque morceau, la stocker, calculer celle de la question, puis renvoyer les morceaux les plus proches. Chaque étape porte une décision qui a des effets sur la qualité.

1. Découper les documents en passages de taille raisonnable. La manière de découper conditionne tout le reste, comme l’explique le choix du découpage d’un document.
2. Calculer l’embedding de chaque passage avec une version de modèle identifiée.
3. Stocker ces positions dans un index, accompagnées de métadonnées : date, version, statut, droits d’accès.
4. Calculer l’embedding de la question posée par l’utilisateur, avec le même modèle.
5. Renvoyer les passages voisins, après filtrage par les métadonnées, au modèle qui rédigera la réponse.

Un exemple générique : un salarié demande « combien de jours puis-je poser en août ? ». La recherche par le sens retrouve la note sur les congés payés et l’accord sur la fermeture estivale, alors qu’aucun des deux ne contient le mot « poser ».

Le choix des embeddings engage la compatibilité des représentations, les langues réellement utilisées et les filtres qui distinguent une proximité de sens d’une source autorisée et actuelle.

• Changer de modèle d’embedding impose de tout réindexer. Les positions ne sont pas comparables d’un modèle à l’autre. C’est un coût par événement, rarement budgété.
• La langue compte. Un modèle mal adapté aux langues du corpus peut dégrader la recherche en français ou entre langues : point critique pour toute organisation qui publie dans plusieurs langues.
• La proximité n’est pas la pertinence. Deux textes peuvent être voisins et l’un être une procédure abrogée. L’index doit aussi contrôler les droits : un passage pertinent reste interdit à un utilisateur non habilité. C’est pourquoi le filtrage par date et par statut ne se remplace pas par un meilleur modèle.

Une recherche par le sens peut manquer les références exactes, les codes produits ou les identifiants, car la proximité vectorielle ne garantit pas de distinguer chaque caractère utile. C’est la limite à poser en même temps que le principe, faute de quoi elle est découverte en production.

Le mécanisme est direct : « 12.3 » et « 12.4 » ont un sens presque identique pour un modèle d’embedding. La distinction qui compte pour l’utilisateur est précisément celle qu’il ne fait pas.

Une piste consiste à comparer une recherche par mots-clés à l’index vectoriel, puis à mesurer leur combinaison, comme décrit dans recherche hybride.

Combiner recherche par mots-clés et recherche par le sens couvre l’essentiel des cas, pour comparer leurs résultats sur les reformulations et les références précises. C’est pourquoi je combine toujours deux recherches.

La recherche par proximité rate ce qui se cherche par le mot exact : une référence de contrat, un code article, un nom propre rare. La recherche par mots-clés, elle, rate les reformulations.

La combinaison doit être évaluée sur vos cas, notamment les domaines éloignés de l’entraînement du modèle. C’est un peu plus de travail à la mise en place, et c’est ce qui évite la classe d’erreurs la plus embarrassante : le système qui ne retrouve pas un document dont l’utilisateur vient de citer la référence exacte.

Une direction doit retenir qu’un changement de modèle d’embedding peut demander de recalculer les représentations et de reconstruire l’index, avec un coût à estimer sur le corpus.

Le choix du modèle d’embedding est réversible, mais pas gratuit : il implique de tout recalculer. Le cadrage porte sur les langues, la recherche mixte et le filtrage par statut, avec une charge dépendant du corpus. Le corriger en exploitation coûte une réindexation complète.

Changer de modèle d’embedding impose de réindexer entièrement le corpus, ce qui représente une dépendance et un coût de migration importants dans la chaîne documentaire. Elle mérite donc d’être instruite au cadrage.

Deux points se vérifient avant de choisir : le comportement sur vos propres paires de langues si le corpus n’est pas monolingue, et la stabilité du fournisseur, une dépréciation forçant la réindexation.

Un corpus francophone contenant des documents techniques en anglais, la norme en informatique, en pharmacie et en aéronautique, relève déjà de ce cas. Le multilinguisme est une contrainte d’architecture, développée dans PaLM 2 et le multilingue. La démarche de vérification est décrite dans construire un jeu de tests en une journée.

Aucun modèle d’embedding, si performant soit-il, ne compense un corpus mal tenu, avec des versions contradictoires ou des documents périmés toujours indexés. Si trois notes se contredisent, la recherche en trouvera une, et ce sera peut-être la mauvaise.

C’est le point que je répète le plus en cadrage, et qui ramène systématiquement au même endroit : le corpus est le projet.

En pratique, trois règles de tenue du corpus pèsent davantage que le choix du modèle : une seule version en vigueur par document, un statut explicite pour les textes abrogés, et une date de mise à jour exploitable par le filtrage.

Comprendre que la recherche par le sens est un composant à part entière, avec son coût, sa qualité et son fournisseur, permet à une direction de trancher trois questions qu’elle laissait sinon à l’équipe technique. Ce sont des questions de risque, pas d’implémentation.

La première porte sur la langue : si le corpus contient des documents en anglais et que les utilisateurs interrogent en français, cela doit être vérifié avant la mise en service, pas découvert après.

La deuxième porte sur la réversibilité : un changement de fournisseur d’embedding impose une réindexation complète, ce qui doit apparaître dans l’analyse de dépendance.

La troisième porte sur les références exactes : un corpus réglementaire ou contractuel exige un index par mots-clés en complément, faute de quoi les questions les plus précises recevront les réponses les plus approximatives. Ces trois points relèvent du dossier décrit dans ce qui doit exister avant l’échéance.

La conséquence pratique est que ce composant doit apparaître dans le dossier au même titre que le modèle de génération : quel fournisseur, quelle version, quelle langue vérifiée, quelle date de réindexation. Cette information permet de diagnostiquer, deux ans plus tard, pourquoi le système répond moins bien qu’avant. Le format de cette documentation figure dans écrire la fiche d’un système d’IA.

Les erreurs les plus fréquentes avec les embeddings consistent à les traiter comme un détail d’implémentation, à se passer d’index par mots-clés et à confondre proximité de sens et pertinence. Elles se corrigent toutes au cadrage, à moindre coût.

• Choisir le modèle d’embedding par défaut sans le tester sur ses propres documents et ses propres langues.
• Supprimer la recherche par mots-clés au motif que la recherche par le sens est plus moderne.
• Indexer sans métadonnées, ce qui interdit ensuite de filtrer les documents abrogés ou réservés.
• Ne pas consigner la version du modèle, ce qui rend toute dégradation ultérieure impossible à expliquer.

Une direction qui veut instruire ces choix sans dépendre entièrement de son prestataire peut s’appuyer sur une formation à l’IA générative orientée décision, ou sur un audit IA de l’architecture existante.

Lectures complémentaires : recherche hybride ; construire un jeu de tests en une journée ; écrire la fiche d’un système d’IA ; ce qui doit exister avant l’échéance. Ces liens complètent la navigation du site.

Les arbitrages sur les embeddings portent sur la qualité de recherche, les références exactes, les langues, les métadonnées et le coût de changement dans votre contexte documentaire.