IA

Mistral Large 4 : mille milliards de paramètres « ouverts », mais ouverts à qui ?

Le 6 octobre, Mistral a présenté un modèle géant dont les poids doivent être téléchargeables d’ici fin octobre. Ce que « open weight » veut vraiment dire, ce qu’il faudrait pour le faire tourner, et pour qui cette ouverture compte.

Un gros chat tigré à lunettes de soleil, affalé devant un ordinateur portable, entouré de livres, d'une tasse et d'un carnet aux couleurs de Mistral Large 4, avec les mentions « Open Weight » et « Chonk approved ».
Illustration générée par IA.

Vous lisez « modèle ouvert », « poids publiés », « souveraineté », et une petite voix vous souffle que vous allez pouvoir le télécharger et le faire tourner chez vous, à l’abri. Puis vous lisez la suite : mille milliards de paramètres. La petite voix se tait.

C’est exactement le grand écart que pose Mistral Large 4, présenté par la société française le 6 octobre. Un modèle qui se veut ouvert, mais que presque personne ne pourra héberger. Pour comprendre à qui profite cette ouverture, il faut démêler trois choses : ce que Mistral a réellement annoncé, ce que « ouvert » veut dire pour un modèle d’IA, et ce que coûte, en matériel, un modèle de cette taille.

Ce que j’en fais, moi, de Mistral

Je pars de mon usage, parce qu’il résume assez bien la situation de beaucoup de bricoleurs. Mistral, je l’utilise tous les jours, mais uniquement par son API, c’est-à-dire en envoyant mes requêtes à ses serveurs et en récupérant les réponses.

Deux projets tournent comme ça. Le premier est un petit service en ligne pour ma compagne, qui est kinésithérapeute : elle scanne ses ordonnances, et Mistral se charge de la lecture du document (l’OCR, la reconnaissance de texte), d’un résumé et de quelques valeurs enrichies. Le second est une boîte à questions pour ma fille, à vocation éducative : elle peut lui demander n’importe quoi, c’est Mistral Medium qui répond, et c’est le modèle de synthèse vocale de Mistral qui lui donne une voix.

À côté, j’ai un abonnement Claude Pro pour mes projets personnels, Claude Max au travail, et j’utilise Groq quand un projet a besoin d’une inférence très rapide. Des modèles qui tournent en local chez moi, en revanche, je n’en ai aucun. Aucune de mes machines ne m’a paru assez puissante, et surtout, je n’avais pas envie de laisser un ordinateur gourmand branché en permanence. J’ai fait quelques essais sur un Raspberry Pi 5 et sur un Jetson Nano de 2 Go : rien de concluant.

Mon seul essai sérieux en local s’est fait au travail, avec Ollama, sur un ordinateur très puissant mis à notre disposition. Si mes souvenirs sont bons, c’était gpt-oss-120b, et le résultat n’était pas mal du tout. Gardez ce modèle en tête : il va servir d’étalon un peu plus loin.

Ce que Mistral a annoncé, et ce qu’il n’a pas encore dit

Sur le papier, Large 4 est un monstre. Mistral le décrit comme un modèle d’environ mille milliards de paramètres, dont 52 milliards seulement travaillent à chaque étape du calcul.1 Il est multimodal (il accepte des images en plus du texte), mélange réponses directes et raisonnement, et Mistral le dit à l’aise dans plus de 160 langues, dont toutes les langues officielles de l’Union européenne.

Un paramètre, pour fixer les idées, c’est un des réglages internes que l’entraînement a ajustés : un nombre parmi des milliards, un peu comme chacun des boutons d’une immense table de mixage. L’ensemble de ces nombres, ce sont les « poids » du modèle.

L’entraînement s’est fait sur 3 800 processeurs graphiques Nvidia Grace Blackwell, dans les centres de données de Mistral en Europe, et c’est sur cette même infrastructure que tourne la préversion. Car pour l’instant, c’est tout ce qui existe : une API en préversion publique sur Mistral Studio, facturée 1,36 dollar par million de jetons envoyés et 4,18 dollars par million de jetons reçus. Un jeton correspond grosso modo à un morceau de mot.

Les poids, eux, ne sont pas encore là. Mistral promet de les publier « d’ici la fin du mois », accompagnés de détails sur l’architecture, de nouveaux tests et d’explications sur la façon dont le modèle a été affiné. En attendant, la société dit le confronter à des usages réels avec des spécialistes de la cybersécurité, des partenaires triés sur le volet et des autorités publiques, qui y accèdent avec une modération réduite.

Il manque une information, et c’est la plus importante pour la suite : la licence. La page d’annonce n’en dit rien. Or c’est elle qui décidera de ce que l’on aura le droit de faire de ces poids.

Open source, open weight : la recette ou le plat

Le vocabulaire entretient une confusion qu’il vaut la peine de lever. Dans le logiciel, « open source » a un sens précis : le code est publié, et vous avez le droit de l’utiliser, de l’étudier, de le modifier et de le redistribuer. Pour l’IA, l’Open Source Initiative, l’organisme qui fait référence sur cette définition, en a publié une version adaptée : l’Open Source AI Definition 1.0.

Elle reprend ces quatre libertés et précise ce qu’il faut publier pour qu’elles aient un sens : des informations suffisamment détaillées sur les données d’entraînement pour qu’une personne compétente puisse construire un système équivalent, le code complet qui a servi à entraîner et à faire tourner le modèle, et enfin les paramètres. La définition le dit sans détour : publier les poids seuls ne suffit pas.

Ce que publie chaque modèle d’ouverture : l’open source au sens de l’OSI exige les informations sur les données, le code d’entraînement et les poids ; l’open weight ne livre que les poids. Les donnéesd’où vient l’apprentissage Le codepour entraîner et faire tourner Les poidsle résultat de l’entraînement Open source au sens de l’OSI : les trois Open weight : celui-ci seulement
Les trois ingrédients que l’Open Source Initiative exige pour parler d’IA open source. Un modèle « open weight » ne livre que le dernier.

L’analogie la plus parlante est celle de la cuisine. Un modèle open source, c’est la recette complète, avec la liste des courses et le nom des fournisseurs : vous pouvez refaire le plat, comprendre pourquoi il a ce goût, en changer un ingrédient. Un modèle open weight, c’est le plat cuisiné livré sous vide. Vous pouvez le réchauffer chez vous, le resservir, et même rectifier l’assaisonnement (les spécialistes parlent d’affiner le modèle, ou fine-tuning). Mais vous ne savez pas exactement ce qu’il y a dedans, et vous ne pourrez pas le refaire.

Ce n’est pas rien pour autant. Avec les poids, n’importe qui disposant du matériel peut faire tourner le modèle sans demander la permission à son éditeur, le tester sous toutes les coutures, le compresser pour qu’il tienne sur des machines plus modestes, ou l’héberger chez un autre fournisseur. Ce qu’on ne peut pas faire, c’est vérifier sur quoi il a appris.

La licence fait toute la différence

Même entre modèles open weight, les droits varient beaucoup, et la gamme Mistral en donne une bonne illustration. Mistral Large 3, le prédécesseur publié fin 2025, est sous licence Apache 2.0 : une licence permissive, qui autorise l’usage commercial et la modification sans contrepartie particulière. Mistral Medium 3.5, le modèle que j’utilise par l’API pour la boîte à questions, est publié sous une licence MIT modifiée. Elle semble aussi généreuse que l’originale, à une clause près : une entreprise dont le chiffre d’affaires mensuel dépasse 20 millions de dollars, ou dont l’employé utilise le modèle pour elle, n’a aucun droit sur ces poids sans licence commerciale négociée avec Mistral. Ouvert pour un indépendant ou une PME, donc, mais pas pour un grand groupe.

Pour Large 4, rien n’est dit à ce stade. Tant que la licence n’est pas publiée, « ouvert » reste une promesse dont on ne connaît pas les termes.

Pourquoi « 52 milliards actifs » ne veut pas dire « petit »

Le chiffre des paramètres actifs vient de l’architecture du modèle, un « mélange d’experts » (en anglais mixture of experts, souvent abrégé MoE). L’idée est ancienne, mais elle est devenue la norme pour les très grands modèles.

Dans un modèle classique, dit dense, chaque mot traité mobilise la totalité des paramètres. Dans un mélange d’experts, une partie du réseau est découpée en blocs spécialisés, les experts, et un petit aiguilleur appelé routeur décide, mot après mot, lesquels consulter. Les autres restent au repos.

Un mélange d’experts : pour chaque mot, un routeur choisit deux experts parmi huit. Tous restent chargés en mémoire, seuls les deux choisis calculent, puis leurs résultats sont combinés. Un motà traiter Le routeurchoisit 2 experts Les résultatssont combinés expert expert expert expert expert expert expert expert huit experts en mémoire, deux au travail pour ce mot
Le principe du mélange d’experts, simplifié. Le routeur choisit quelques experts pour chaque mot ; les autres ne calculent pas, mais doivent rester chargés, car le mot suivant peut en avoir besoin.

Imaginez une grande clinique où travaillent des dizaines de spécialistes. À l’accueil, quelqu’un oriente chaque patient vers deux ou trois d’entre eux, pas vers tout le monde : les consultations vont plus vite. Mais tous les spécialistes doivent être présents dans le bâtiment, puisque personne ne sait qui franchira la porte ensuite.

C’est exactement le compromis du mélange d’experts. Le calcul ne porte que sur une fraction du modèle, ce qui le rend bien plus rapide qu’un modèle dense de même taille. La mémoire, elle, doit contenir l’ensemble des experts. Le billet de référence de Hugging Face sur le sujet le résume sans ambiguïté : tous les paramètres doivent être chargés en mémoire. Il donne l’exemple de Mixtral 8x7B, un ancien modèle de Mistral : environ 47 milliards de paramètres au total, mais le coût de calcul d’un modèle d’environ 12 milliards.

Pour Large 4, le rapport est encore plus marqué : 52 milliards actifs sur mille milliards, soit à peu près 5 % du modèle au travail à chaque étape. Rapide à faire tourner, donc, à condition d’avoir de quoi le ranger.

Combien de mémoire pour le ranger ?

Le calcul de base tient en une ligne : la mémoire occupée par les poids, c’est le nombre de paramètres multiplié par la place que prend chacun. Et cette place dépend de la précision avec laquelle on stocke les nombres.

Pour les curieux : le calcul de la mémoire

Un octet vaut 8 bits. Un paramètre stocké en 16 bits (le format BF16, courant pour publier un modèle) occupe 2 octets ; en 8 bits, 1 octet ; en 4 bits, un demi-octet.

mémoire des poids ≈ nombre de paramètres × octets par paramètre

Large 4, 1 000 milliards de paramètres
  en 16 bits : 1 000 × 2   ≈ 2 000 Go
  en 8 bits  : 1 000 × 1   ≈ 1 000 Go
  en 4 bits  : 1 000 × 0,5 ≈   500 Go

gpt-oss-120b, 117 milliards de paramètres
  en 4 bits  : 117 × 0,5   ≈    60 Go

Ces chiffres ne comptent que les poids. Il faut ajouter la mémoire de travail, qui grossit avec la longueur du texte à traiter.2 Réduire la précision des nombres s’appelle la quantification : le modèle prend moins de place, au prix d’une petite perte de qualité, variable selon les modèles et la méthode.

Même dans sa version la plus compressée raisonnable, Large 4 demande donc de l’ordre de 500 Go de mémoire rapide rien que pour ses poids. Un ordinateur portable courant en a 16 Go, et les cartes graphiques grand public les mieux dotées plafonnent à quelques dizaines de gigaoctets.

Les fiches des modèles voisins donnent une idée du matériel qu’il faut. Pour Mistral Large 3 et ses 675 milliards de paramètres, la fiche recommande un nœud complet de serveurs à processeurs graphiques de centre de données (des H100 ou des A100 pour la version 4 bits, des H200 ou des B200 pour la version 8 bits), et prévient que le déploiement est délicat avec des ressources limitées. Large 4 est environ une fois et demie plus gros.

C’est là que mon essai de gpt-oss-120b prend son sens. Ce modèle d’OpenAI, lui aussi un mélange d’experts, compte 117 milliards de paramètres dont 5,1 milliards actifs, et sa fiche indique qu’il tient sur un seul processeur graphique de 80 Go. C’était déjà une machine de travail très puissante, sans commune mesure avec ce qu’on laisse tourner dans un placard. Large 4 est environ huit fois plus gros.

Ouvert ne veut pas dire hébergeable.

Alors, ouvert à qui ?

Pas à un particulier, en tout cas pas directement. Personne ne fera tourner ce modèle sur son serveur domestique, et c’est d’ailleurs une des raisons pour lesquelles mes propres projets passent par l’API.

En revanche, l’ouverture change beaucoup de choses pour ceux qui ont des salles de serveurs : administrations, hôpitaux, universités, grandes entreprises, hébergeurs. Ils pourront installer le modèle chez eux et l’utiliser sans que leurs données ne quittent leurs murs. Mistral insiste sur un cas précis, la cybersécurité. Un service d’assistance qui refuse de répondre au mauvais moment, ou un accès coupé en plein incident, devient lui-même un risque ; avec les poids, l’organisation fixe ses propres règles.

Sur la souveraineté, j’ai un avis assez net. Un modèle open weight donne au moins un peu de visibilité, comparé aux modèles complètement fermés comme ceux d’Anthropic ou d’OpenAI. Et un modèle français, entraîné et servi sur le sol européen, me semble un choix intéressant pour les institutions. Jusqu’ici, elles n’avaient pas vraiment le choix : il n’existait pas de concurrent de taille face aux modèles américains, et les meilleurs modèles ouverts venaient de Chine, ce qui posait un problème de souveraineté. Sur ce point, Mistral peut changer la donne.

Le particulier, lui, en profite par ricochet. D’abord parce que des poids publiés permettent à d’autres hébergeurs de proposer le modèle, ce qui fait jouer la concurrence sur les prix et sur les conditions d’utilisation des données. Ensuite parce que Mistral annonce que Large 4 servira de base à une nouvelle génération de modèles spécialisés et optimisés, dont certains seront peut-être assez petits pour une machine domestique. C’est une annonce, pas une date : à suivre.

Ce que ça demande, honnêtement

Il faut d’abord prendre les performances annoncées avec des pincettes. Les comparaisons mises en avant par Mistral sont les siennes, et la société reconnaît que l’apprentissage par renforcement (la phase où le modèle est affiné sur des tâches notées) est encore en cours. Les mesures indépendantes sont plus réservées : Artificial Analysis, qui teste les modèles avec une batterie d’épreuves commune, attribue à la préversion un score de 38 sur son indice synthétique. Des observateurs relayés par Slashdot font remarquer que cela place Large 4 au niveau des meilleurs modèles ouverts, mais pas nettement devant, contrairement à ce que suggère la communication de Mistral. Le classement bougera sans doute d’ici la publication des poids.

Ensuite, la préversion, c’est une API. Ce que vous lui envoyez part sur les serveurs de Mistral. L’argument européen joue, puisque l’infrastructure est en Europe, mais ce n’est pas la même chose qu’un modèle qui tourne chez vous. Pour tout ce qui est sensible, la question de ce qui sort de la maison reste entière, quel que soit le drapeau sur le centre de données.

Il y a enfin la licence, encore inconnue, et l’écart entre les chiffres des uns et des autres. Les premiers articles de presse ne s’accordaient ni sur le nombre de paramètres actifs, ni sur la date exacte de publication des poids.1 Rien de grave, mais un bon rappel : tant que les fichiers et leur licence ne sont pas en ligne, Large 4 est un modèle fermé qui promet de s’ouvrir.

Fin octobre, il y aura donc trois choses à regarder : le texte de la licence, la taille réelle des fichiers publiés, et les premières versions compressées par la communauté. C’est là qu’on saura vraiment à qui ce modèle est ouvert.

Notes

  1. La page de Mistral annonce 52 milliards de paramètres actifs et une publication des poids « d’ici la fin du mois ». Certains articles de presse parus le même jour évoquent 49 milliards et une date précise, le 27 octobre, que la page de Mistral ne mentionne pas. ↩ ↩2

  2. Cette mémoire de travail sert notamment à garder la trace de ce qui a déjà été lu ou écrit dans la conversation. Pour un long document, elle peut peser lourd en plus des poids. ↩

Pour aller plus loin

fdubeaux

Technicien son, image et réseaux le jour, bricoleur le reste du temps. Une erreur, un avis contraire ? Écrivez-moi, je corrige et je cite.