Mixtral : tous les paramètres ne servent pas à chaque jeton
MixtralArchitectureCoûtModèles ouverts2023-12-1110 min
Le mélange d'experts découple la capacité du modèle de son coût de calcul. C'est ce découplage qui rend l'auto-hébergement à nouveau discutable.
Le principe tient en une idée
Un modèle à mélange d'experts contient beaucoup de paramètres mais n'en active qu'une petite partie pour traiter chaque jeton. Mixtral en est la démonstration publique la plus nette : la capacité d'un grand modèle, le coût de calcul d'un modèle bien plus petit.
L'analogie qui fonctionne en réunion de direction est celle du cabinet d'experts. Un cabinet emploie quarante spécialistes, mais un dossier donné n'en mobilise que deux. Le cabinet a la compétence des quarante ; le dossier ne coûte que le temps des deux.
La conséquence économique est directe. Le coût d'inférence, ce que coûte chaque réponse, dépend des paramètres activés, pas des paramètres stockés. On paie le calcul d'un petit modèle en bénéficiant de la couverture d'un grand.
Ce que ça change pour l'hébergement interne
La mémoire nécessaire reste celle du grand modèle, alors que le calcul est celui du petit, ce qui déplace la contrainte matérielle sans la supprimer. C'est la nuance que les équipes découvrent au moment d'installer.
Tous les paramètres doivent être chargés en mémoire, puisqu'on ne sait pas à l'avance quels experts seront sollicités. Il faut donc de la mémoire vidéo en quantité, mais la puissance de calcul requise est bien moindre. Cela oriente vers un profil de machine différent de celui qu'on choisirait pour un modèle dense équivalent.
En pratique, cette architecture rend accessible à une équipe ordinaire un niveau de qualité qui exigeait auparavant une infrastructure lourde. C'est un argument de plus dans l'arbitrage détaillé dans modèles ouverts et souveraineté.
Ce que cela ne change pas
- La qualité du corpus reste déterminante. Un meilleur modèle sur un corpus désordonné donne des réponses fausses plus convaincantes. Voir le corpus est le projet.
- Le besoin de récupération demeure. Le mélange d'experts touche au calcul, pas à la fenêtre de contexte ni à la taille du corpus.
- Le jeu de tests reste obligatoire. Une architecture différente se comporte différemment sur les cas limites, et seule la mesure le révèle.
- La charge d'exploitation ne disparaît pas. Héberger reste une responsabilité continue, pas un achat ponctuel.
Pourquoi cette architecture devient dominante
Le mélange d'experts résout le problème central de la mise à l'échelle : augmenter la capacité sans augmenter proportionnellement le coût de chaque réponse. C'est pour cette raison qu'il s'impose progressivement chez tous les fournisseurs.
Un modèle dense qui double sa taille double son coût d'inférence. Cette proportionnalité rend la course à la taille économiquement intenable au-delà d'un certain point, quel que soit le budget d'entraînement.
Le découplage change la trajectoire. On peut continuer d'augmenter la capacité totale en maintenant le coût par réponse à peu près stable. C'est ce qui explique une bonne part de la baisse continue des tarifs d'inférence, analysée dans le prix de l'inférence s'effondre.
Ce qu'il faut en retenir en comité
L'architecture interne d'un modèle n'est pas un critère de choix. Ce qui compte est le résultat sur vos cas et le coût par réponse. Le mélange d'experts explique pourquoi ces deux chiffres s'améliorent ensemble, il ne justifie pas de choisir un modèle plutôt qu'un autre.
Le réglage pratique qui en découle
Reprendre l'arbitrage entre modèle ouvert hébergé et API à chaque nouvelle génération, parce que le seuil de rentabilité se déplace vite. Un calcul fait il y a six mois est probablement faux aujourd'hui.
Deux forces jouent en sens contraire. Les modèles ouverts deviennent plus capables à matériel constant, ce qui favorise l'hébergement interne. Les tarifs d'API baissent, ce qui le défavorise. Le résultat net dépend du volume et du profil d'usage, et il change plusieurs fois par an.
La seule façon de tenir cette décision est de la rendre bon marché : une couche d'abstraction, un jeu de tests, et un seuil de volume écrit à l'avance qui déclenche le réexamen. Sans ces trois éléments, l'arbitrage se fait une fois puis jamais plus, et l'organisation paie pendant deux ans un choix qui n'était valable que six mois.
Un point de vigilance pour finir. Le mélange d'experts rend le coût par réponse moins prévisible qu'un modèle dense, parce que le nombre d'experts sollicités varie avec le contenu traité. Sur un système à fort volume, cela se traduit par une dispersion des coûts que la moyenne masque. La parade est la même que pour la latence : mesurer au quantile élevé plutôt qu'en moyenne, comme le rappelle l'observabilité des systèmes IA.
Questions fréquentes
- Qu'est-ce qu'un mélange d'experts, en une phrase ?
Un modèle qui contient de nombreux sous-réseaux spécialisés et n'en active qu'une petite partie pour chaque jeton, obtenant ainsi la capacité d'un grand modèle au coût de calcul d'un petit.
- Faut-il moins de matériel pour héberger ce type de modèle ?
Moins de puissance de calcul, mais autant de mémoire : tous les paramètres doivent être chargés puisqu'on ignore lesquels seront sollicités. Le profil de machine change, le besoin de mémoire vidéo reste élevé.
- Cette architecture change-t-elle la qualité des réponses ?
Elle change le rapport qualité-coût, pas la nature des erreurs. Un modèle à mélange d'experts se trompe sur un corpus désordonné exactement comme un modèle dense, et le jeu de tests reste indispensable.
- Faut-il choisir un modèle sur son architecture interne ?
Non. Seuls comptent le résultat sur vos cas réels et le coût par réponse. L'architecture explique ces chiffres mais ne constitue pas un critère de décision en soi.