Claude 2 : cent mille jetons, ce que ça déverrouille vraiment

La capacité annoncée pour Claude 2 permet de fournir jusqu’à cent mille jetons en entrée, afin de travailler sur des documents longs sans les fragmenter systématiquement. Cette possibilité élargit les architectures à tester, sans garantir la qualité de lecture.

L’annonce de Claude 2 du 11 juillet 2023 reprend cette capacité. Elle n’apparaît pas ce jour-là : Anthropic avait déjà annoncé le passage de neuf mille à cent mille jetons le 11 mai. Il faut distinguer le lancement du modèle et celui de la fenêtre longue.

Un jeton est une unité de découpage du texte. Consignes, documents et historique occupent le budget d’entrée. La longueur de sortie doit être prévue séparément selon l’interface utilisée ; annoncer cent mille jetons d’entrée ne promet pas une réponse de cette taille. Le nombre de pages varie avec la langue, la densité et la mise en forme.

Un budget court impose davantage de sélection, comme l’explique la fenêtre de GPT-4. Un budget long peut accueillir un contrat cadre, une procédure ou un dossier pertinent d’un seul tenant, si sa taille mesurée le permet.

La différence pratique porte notamment sur les renvois internes. Une clause « sauf disposition contraire de l’article 12 » est mieux contextualisée si cet article est présent. Le contexte complet rend la vérification possible ; il ne prouve pas que le modèle effectuera correctement le rapprochement.

L’analyse contractuelle, la comparaison de versions et la synthèse de dossiers sont trois usages à évaluer avec une fenêtre longue, lorsque les documents pertinents tiennent dans le budget disponible. Ce sont des possibilités d’architecture, pas des résultats acquis.

Pour un contrat, on peut demander de relever les clauses qui engagent une partie, avec leur référence et le passage justificatif. Donner le contrat entier évite certaines omissions dues à la sélection préalable. Il reste nécessaire de vérifier les exceptions, les annexes et les clauses manquées.

Pour deux procédures, le contexte long facilite la mise en regard des versions. Une récupération d’extraits peut aussi retrouver des passages éloignés : le découpage ne rend pas cette comparaison impossible. La bonne question est de savoir quelle méthode couvre les divergences attendues sur vos documents.

Pour une synthèse, disposer du dossier complet peut aider à restituer ses relations internes. Des éléments inutiles ou contradictoires peuvent également dégrader le résultat. Une synthèse complète n’est donc pas automatiquement plus fidèle qu’une synthèse produite sur une sélection bien conçue.

Quelques situations génériques permettent de préparer l’essai :

• rechercher les contradictions entre un avenant et le contrat initial ;
• comparer une procédure en vigueur avec la version qu’elle remplace ;
• résumer un dossier d’investissement en distinguant faits, hypothèses et pièces manquantes.

Dans chaque cas, je demande une sortie vérifiable par une personne qui connaît le dossier, et non une appréciation générale de la fluidité.

La fenêtre longue mérite d’être testée lorsque la question dépend de relations entre plusieurs passages, tandis que la récupération cible les pièces utiles dans un corpus dépassant la capacité d’entrée. La nature de la question guide le choix.

Une même application rencontre les deux situations. Je compare leurs résultats sur les mêmes questions et les mêmes références, plutôt que d’opposer abstraitement un index à une fenêtre plus grande.

Une fenêtre longue ne dispense pas de sélectionner les pièces, de mesurer le coût et le délai, ni de vérifier la lecture effective et la confidentialité du contenu transmis.

• Le corpus peut dépasser la fenêtre. Un budget de cent mille jetons ne contient pas tout un patrimoine documentaire. Un mécanisme de sélection reste utile, comme dans le RAG.
• Le volume a un coût à mesurer. Comparer l’entrée réellement envoyée, la sortie et les tarifs applicables. Aucun multiplicateur de facture ne peut être déduit de la seule taille maximale annoncée. Le sujet rejoint le coût réel en production.
• La latence doit être testée. Mesurer la réponse sur vos dossiers et votre interface, puis décider si le délai convient à un échange interactif ou à une analyse différée.
• La position de l’information compte dans certains tests. La version du 6 juillet 2023 de Lost in the Middle observe une dégradation lorsque les informations utiles se trouvent au milieu de longs contextes. Ce résultat ne constitue pas une évaluation de Claude 2, annoncé ensuite.
• La confidentialité porte sur chaque pièce. Un dossier entier peut contenir davantage de données sensibles. Les règles sur ce qu’on a le droit de mettre dans un prompt s’appliquent au contenu envoyé, pas à la taille du modèle.

Une architecture peut sélectionner des documents dans un index puis transmettre les pièces pertinentes en entier, à condition de contrôler leurs versions, leurs droits et le budget de contexte. C’est la combinaison que je privilégie pour l’essai.

La récupération identifie les pièces pertinentes ; la fenêtre longue rend disponible leur contexte. Si une pièce dépasse le budget, il faut sélectionner ses sections ou procéder par étapes. Remplacer des fragments par des documents entiers ne garantit pas une meilleure réponse : cette hypothèse fait partie de la recette.

Le découpage peut alors servir à repérer un document ou une section, plutôt qu’à constituer directement le prompt final. Les métadonnées doivent permettre de retrouver la pièce correspondante et son statut. C’est le prolongement de découper un document.

1. Indexer les pièces et leur version, avec la date, le statut et les droits d’accès.
2. Sélectionner les documents nécessaires à la question, puis mesurer leur taille avant transmission.
3. Tester plusieurs positions de l’information critique, en gardant la question et les faits identiques.
4. Fixer un budget et un traitement du dépassement, puis comparer qualité, coût et délai avec la récupération d’extraits.

Je conserve les références de chaque pièce dans la réponse attendue. Si deux versions se contredisent, le système doit les distinguer plutôt que choisir silencieusement. L’autorité documentaire reste à établir : c’est ce que rappelle le corpus est le projet.

Le test de lecture consiste à déplacer une information critique dans le même dossier, puis à vérifier que la réponse conserve les faits attendus et les bonnes références.

Placer une information critique au début, au milieu puis à la fin du même dossier. Rejouer la même question et vérifier les passages cités. Si le résultat varie, revoir la sélection et le parcours de validation avant de généraliser.

Une fenêtre longue peut rendre un prototype convaincant sur un petit corpus sans démontrer sa capacité à sélectionner les bons documents lorsque ce corpus augmente ou change. C’est un risque de cadrage à traiter dès l’essai.

Je recommande de fixer le budget de contexte et le volume documentaire attendus en régime établi. Développer sous cette contrainte rend les arbitrages visibles : quelles pièces garder, comment gérer le dépassement et comment annoncer une réponse incomplète.

Un système conçu avec un budget court ne fonctionnera pas automatiquement mieux avec un budget long. Ajouter du texte change l’entrée, les contradictions possibles et la manière dont les passages sont exploités. Chaque modification appelle une comparaison sur les mêmes cas.

Le prototype doit également être essayé avec une pièce manquante, une version périmée et une demande trop large. Le bon comportement peut être une question de clarification ou un refus de conclure.

Cette discipline prolonge la réflexion sur sortir du prototype et sur les premiers essais avec GPT-4. Elle évite de confondre un dossier qui tient dans le prompt avec un service qui sait traiter ses demandes.

Les erreurs à éviter consistent à remplir la fenêtre sans sélection, à supprimer l’index documentaire ou à croire qu’une information présente sera nécessairement utilisée correctement par le modèle. Chacune doit être testée sur un cas concret.

• Envoyer tout par défaut. Mesurer si chaque pièce aide la réponse et si son envoi est autorisé.
• Abandonner l’index. Prévoir la croissance du corpus et les questions qui exigent une sélection.
• Confondre capacité et lecture fiable. Vérifier les informations retrouvées, les omissions et les références.
• Oublier les versions. Une procédure entière mais remplacée demeure une mauvaise source pour la règle en vigueur.

Un audit IA peut organiser cette comparaison. Une formation à l’IA doit aussi apprendre à distinguer une réponse convaincante d’une réponse justifiée par les pièces.

Lectures complémentaires : le coût réel d’un système IA en production ; sortir du prototype. Ces liens complètent la navigation du site.

Avant de retenir une fenêtre longue, il faut comparer sa capacité utile, la qualité des réponses et les contraintes d’exploitation avec celles d’une sélection documentaire adaptée au même usage.