Gemini 1.0 : la multimodalité native et ses usages réels

Gemini 1.0 traite texte, image, audio et vidéo dans une seule architecture, au lieu d'enchaîner des modèles spécialisés. La différence n'est pas cosmétique : elle supprime les pertes de conversion entre étapes.

Dans une chaîne classique, une vidéo passe par une transcription audio, une extraction d'images, une description de ces images, puis une synthèse textuelle. Chaque étape perd de l'information et ajoute une source d'erreur. Ce qui relie une phrase prononcée à ce qui était montré au même moment disparaît en général dès la première conversion.

Un traitement natif conserve cette relation. C'est ce qui rend possibles des questions du type « à quel moment le présentateur montre-t-il le tableau des tarifs », qu'une chaîne d'outils traite mal.

Sur les corpus que je rencontre, le premier usage n'est pas la vidéo mais le document mal numérisé. Il est moins spectaculaire et beaucoup plus fréquent.

Un corpus d'entreprise contient toujours une proportion importante de documents non textuels : contrats scannés, formulaires remplis à la main, plans techniques, captures d'écran archivées, tableaux photographiés. Ces pièces étaient invisibles à la recherche documentaire, ou passaient par une reconnaissance optique qui produisait un texte inexploitable dès que la mise en page était complexe.

Le second usage est le tableau. Un tableau dans un PDF est une structure visuelle que l'extraction de texte détruit, les colonnes se mélangent, les cellules fusionnées disparaissent. Un modèle qui voit la page lit le tableau correctement.

Le troisième, plus loin derrière, est l'enregistrement de réunion. La valeur y est réelle mais le cadre juridique et social l'est aussi, et il vaut mieux le traiter avant l'outil.

Un modèle qui lit une image ne sait pas laquelle des trois versions d'un plan fait autorité, et c'est ce problème-là qui bloque les projets. La capacité technique déplace la difficulté sans la supprimer.

Un corpus visuel a les mêmes défauts qu'un corpus textuel, souvent aggravés : plusieurs versions d'un même plan, aucune date lisible, aucune indication de validité, des annotations manuscrites contradictoires. Le modèle lira tout, fidèlement, y compris la version périmée.

La réponse n'est pas technique. Elle consiste à décider, en amont, quelle source fait foi et à ne charger que celle-là, ou à porter cette information dans les métadonnées pour que le système puisse trancher. C'est un travail d'organisation documentaire, pas d'ingénierie, et c'est celui que les projets sous-estiment le plus souvent, comme le montre anatomie d'un PoC qui ne passe jamais.

La distinction entre document textuel et document image va cesser d'être structurante, et c'est la conséquence de fond. Les chaînes de traitement construites autour de cette distinction devront être simplifiées.

Aujourd'hui, la plupart des architectures documentaires comportent une branche pour le texte et une branche pour l'image, avec des outils différents, des qualités différentes et des taux d'erreur différents. Cette dualité disparaîtra progressivement au profit d'un traitement unique.

Le conseil pratique qui en découle : ne pas investir lourdement dans une chaîne de reconnaissance optique en 2024, mais construire l'indexation de façon à pouvoir remplacer ce composant. C'est un cas particulier de la réversibilité, qui reste le principe le plus rentable sur ces systèmes, comme le rappelle la dette technique d'un système d'IA.

Cette recommandation vaut aussi pour l'inverse. Une organisation qui dispose déjà d'une chaîne de reconnaissance optique éprouvée n'a aucune raison de la jeter : elle est moins chère et souvent plus rapide sur les documents propres, qui constituent la majorité du volume. Le bon réglage consiste à la conserver pour le tout-venant et à n'envoyer au modèle multimodal que les pièces sur lesquelles elle échoue, ce qui se détecte automatiquement.

Google, Introducing Gemini · Google, Gemini Technical Report · Google DeepMind, Gemini