Que coûte à Mamba son état de taille fixe ?
Axel Morel · Fondateur & analyste, ProbansL'essentiel
Ce que j'appelle une taxe de compression : l'état de taille fixe qui rend le contexte long moins cher est lié à une capacité limitée à retrouver une information mentionnée une seule fois. Une architecture à état sélectif, déjà en production, pensée pour réduire le coût du contexte long face aux Transformers.
- Un résumé de taille fixe remplace la comparaison de tous les mots. Mamba remplace le mécanisme d'attention par un principe différent : un balayage séquentiel du texte à travers un état interne de taille fixe, qu'on appelle un espace d'état sélectif. Le coût de calcul reste linéaire quand le contexte s'allonge (au lieu de quadratique), et la mémoire nécessaire pendant l'inférence reste constante.
- C'est déjà en production, presque toujours en hybride. Plusieurs modèles utilisent aujourd'hui Mamba ou une variante hybride Mamba-Transformer, en production. Que la quasi-totalité de ces déploiements soient des architectures hybrides, combinant Mamba et attention plutôt que Mamba seul, n'a rien d'un hasard à mes yeux.
- La compression se paie sur le rappel précis. Une étude (Arora et al.) comparant systématiquement des architectures à convolution ou état contrôlé, une famille plus large que Mamba seul, à des Transformers trouve qu'un modèle à attention de seulement 70 millions de paramètres surpasse un modèle à convolution contrôlée de 1,4 milliard de paramètres sur cette tâche précise ; sur cette famille de modèles, 82 % de l'écart de performance global mesuré s'explique par cette seule capacité de rappel.
Mamba n’est pas un chatbot, pas un modèle qu’on peut interroger directement, et son nom n’apparaît sur aucune interface grand public. C’est une architecture : une façon différente de faire circuler l’information à l’intérieur d’un modèle d’intelligence artificielle. Proposée en décembre 2023 par Albert Gu et Tri Dao, puis prolongée par leur extension Mamba-2 en 2024, elle répond à un problème très concret des grands modèles de langage (LLM) : plus le texte à traiter est long, plus ça coûte cher à calculer et à faire tourner.
Le compromis central de Mamba, qu’on peut nommer la taxe de compression, consiste à accepter de payer un prix sur la fidélité de la mémoire du modèle pour ne plus payer la facture quadratique du calcul.
Le problème que Mamba cherche à résoudre
Ce que les données établissent. Un LLM classique repose sur une architecture appelée Transformer. Son mécanisme central, l’attention, permet à chaque mot du texte de “regarder” tous les autres mots déjà traités pour décider de la suite. C’est ce qui rend ces modèles si bons pour capter des liens distants dans un texte. Mais ce mécanisme a un coût qui grandit vite : si on double la longueur du texte fourni en entrée, le calcul nécessaire pour l’attention ne double pas, il quadruple. Ce coût de calcul croît de façon quadratique avec la longueur du contexte. En pratique, cela veut dire que résumer un document de 5 pages coûte relativement peu, mais qu’analyser un rapport de 500 pages en une seule fois peut devenir très lourd, ou tout simplement impossible à faire tenir en mémoire.
Ce que la méthode interprète. Ce problème n’a rien d’anecdotique pour qui utilise l’IA sur des tâches réelles : contrats longs, bases de code entières, historiques de conversation étendus. Plus le contexte s’allonge, plus la facture de calcul grimpe, et plus la mémoire nécessaire pendant que le modèle répond (l’inférence) augmente elle aussi avec la taille du contexte. C’est précisément ce goulot d’étranglement que Mamba a été conçu pour desserrer. On peut lire ce coût quadratique comme le prix que le Transformer paie pour ne jamais compresser sa mémoire : chaque mot lu reste gardé en clair, comparé à tous les autres à chaque étape. Il ne paie pas la taxe de compression nommée plus haut, mais il paie l’autre facture, celle du calcul.
Ce que Mamba change concrètement
Ce que les données établissent. Mamba remplace le mécanisme d’attention par un principe différent : un balayage séquentiel du texte à travers un état interne de taille fixe, qu’on appelle un espace d’état sélectif. Au lieu de comparer chaque mot à tous les mots précédents, le modèle met à jour en continu un résumé compact de ce qu’il a lu, et décide, de façon sélective, quelles informations garder dans ce résumé et lesquelles oublier. C’est le mouvement inverse de celui du Transformer : Mamba compresse en continu ce qu’il a lu dans un état de taille fixe, au lieu de tout garder en clair. C’est ce choix qui rend le coût linéaire, et c’est lui qui se paie plus loin. Concrètement, cela veut dire deux choses : le coût de calcul reste linéaire quand le contexte s’allonge (au lieu de quadratique), et la mémoire nécessaire pendant l’inférence reste constante, plutôt que de croître avec la longueur du texte traité.
Il faut être précis sur ce que « Mamba » désigne : ce n’est ni un modèle qu’on télécharge et qu’on interroge tel quel, ni un produit fini. C’est un composant d’architecture, une brique qu’un laboratoire peut choisir d’insérer à l’intérieur d’un modèle plus large, souvent combinée avec des couches d’attention classiques dans ce qu’on appelle une architecture hybride. Mamba n’est pas la seule piste explorée sur ce terrain : RWKV, RetNet ou xLSTM poursuivent des objectifs proches par des mécanismes différents, sans avoir atteint le même niveau de déploiement en production que Mamba au moment de la rédaction.
Où c’est déjà déployé
Ce que les données établissent. Ce n’est pas resté un exercice de laboratoire. Plusieurs modèles utilisent aujourd’hui Mamba ou une variante hybride Mamba-Transformer, en production :
- Jamba (AI21 Labs), l’un des premiers modèles hybrides Mamba-Transformer présentés comme de qualité production.
- Codestral Mamba (Mistral, juillet 2024), une variante dédiée à la génération de code, retirée du catalogue par Mistral le 6 juin 2025 au profit de Codestral : un jalon historique plutôt qu’un déploiement actuel.
- IBM Granite 4.0 (octobre 2025), qui intègre également une architecture hybride de ce type.
- Nemotron-H (NVIDIA, 2025), famille de modèles hybrides Mamba-Transformer en 8, 47 et 56 milliards de paramètres, présentée par NVIDIA comme jusqu’à trois fois plus rapide à l’inférence que des modèles Transformer comparables.
- Falcon Mamba 7B (Technology Innovation Institute, Abou Dabi, octobre 2024), un Mamba pur, sans aucune couche d’attention : entraîné sur 5,8 billions de tokens, il dépasserait, selon le Technology Innovation Institute, des modèles Transformer denses de taille comparable (Mistral 7B, Llama 3.1 8B) sur le classement ouvert de référence à cette échelle, au moment de sa sortie en octobre 2024, la meilleure performance publiée pour un Mamba pur à cette date parmi celles recensées ici, non recoupée ici par un tiers indépendant ni revérifiée depuis.
Sur le gain concret, AI21 Labs annonce pour Jamba, un modèle hybride et non un Mamba pur, un débit environ trois fois supérieur sur les contextes longs face à Mixtral 8x7B, un Transformer à mélange d’experts de taille comparable ; la longueur de contexte exacte de cette mesure n’est pas précisée par AI21 Labs. Le papier fondateur de Mamba, lui, annonçait un gain de débit à l’inférence de l’ordre de quatre à cinq fois, le haut de cette fourchette étant mesuré sur un modèle Mamba de 6,9 milliards de paramètres non entraîné : la mesure porte sur l’architecture, pas sur un système effectivement en service. Ce sont deux chiffres différents, mesurés dans des conditions différentes par leurs propres auteurs : le premier vient d’un modèle réellement déployé et partiellement hybride, le second d’une mesure d’architecture pure, en partie sur un modèle non entraîné.
Ce que la méthode interprète. Que la quasi-totalité de ces déploiements soient des architectures hybrides, combinant Mamba et attention plutôt que Mamba seul, n’a rien d’un hasard à mes yeux : j’y lis déjà un remboursement partiel de la taxe de compression, les laboratoires réinjectant de l’attention classique là où le rappel exact d’une information compte davantage que le coût de calcul.
La limite la moins souvent citée : le rappel précis d’une information
Ce que les données établissent, un point moins couvert par la presse généraliste que le gain de débit. La mémoire à taille fixe qui fait la force de Mamba sur le coût est, par construction architecturale, liée à sa capacité limitée à retrouver une information précise mentionnée une seule fois, loin en arrière dans un contexte long, une tâche que la recherche appelle le rappel associatif ; le rapprochement entre les deux effets reste une lecture de ma part, développée plus loin sous le nom de « taxe de compression ». Une étude (Arora et al.) comparant systématiquement des architectures à convolution ou état contrôlé, une famille plus large que Mamba seul, à des Transformers trouve qu’un modèle à attention de seulement 70 millions de paramètres surpasse un modèle à convolution contrôlée de 1,4 milliard de paramètres sur cette tâche précise ; sur cette famille de modèles, 82 % de l’écart de performance global mesuré s’explique par cette seule capacité de rappel. Une seconde étude (Chen et al., 2024) documente un mécanisme de cause : l’état interne de Mamba, censé “oublier” sélectivement ce qui devient non pertinent, apprend mal à le faire en pratique sur des contextes qui dépassent la longueur vue à l’entraînement, ce qui produit des réponses incohérentes plutôt qu’un oubli propre de l’information périmée.
Ce que la méthode interprète. C’est ici que la taxe de compression nommée en ouverture se paie concrètement : le même mécanisme qui rend Mamba moins cher sur les contextes longs est celui qui limite son rappel exact. C’est l’inverse de l’argument commercial habituel (“moins cher sur les contextes longs”) : une architecture qui traite un contexte long moins cher n’est pas nécessairement celle qui en retrouve le mieux le contenu exact. Pour un usage qui exige de retrouver un chiffre ou une clause précise noyée dans un document long, plutôt que d’en produire un résumé général, cette limite documentée devrait peser au moins autant que le gain de débit dans le choix d’une architecture.
Une brique invisible, pas un produit
Ce que la méthode interprète. Mamba n’est visible nulle part pour qui utilise un modèle d’IA au quotidien. Si votre fournisseur de LLM utilise une architecture hybride intégrant Mamba, vous n’en verrez jamais la trace dans l’interface : pas de mention, pas de bouton, pas de case à cocher. Ce qui change, c’est le coût que ça fait tourner en coulisses, et éventuellement la vitesse de réponse sur un contexte long. C’est un composant d’infrastructure qui rend un produit existant moins coûteux à faire fonctionner, sans que l’utilisateur final le sache ni n’ait besoin de le savoir. À la différence d’un modèle de raisonnement affiché comme tel, ou d’une fonctionnalité “contexte long” mise en avant commercialement, Mamba ne se vend pas.
Mes réserves
- Le gain de débit annoncé n’est pas universel. Certaines mesures disponibles indiquent une utilisation du GPU (MFU, le taux d’usage réel de la puissance de calcul théorique) inférieure à celle des Transformers optimisés ; je n’ai pas pu rattacher ce constat à une publication précise identifiable dans mes sources.
- Une étude portant spécifiquement sur une tâche de reclassement de documents trouve même un débit d’entraînement inférieur pour Mamba par rapport à un Transformer sur cette tâche précise : ce résultat isolé suffit à écarter l’idée d’une supériorité générale de l’architecture, sans établir à lui seul que le type de tâche et la longueur de contexte en sont les déterminants.
- Les chiffres de gain de débit cités ici (x3 pour Jamba face à Mixtral 8x7B, x3 pour Nemotron-H, x4 à x5 pour le papier fondateur) sont tous auto-publiés par le fabricant du modèle qu’ils mettent en avant, proviennent de trois protocoles de mesure distincts, et je ne les ai recoupés avec aucun benchmark indépendant tiers avant publication.
- L’étude sur le déficit de rappel associatif (82 % de l’écart expliqué) porte sur une famille plus large de modèles à convolution contrôlée, pas sur des modèles Mamba nommément identifiés dans chacun de ses essais ; le mécanisme de cause (état à taille fixe, capacité de rappel bornée) s’applique directement à Mamba par construction architecturale, mais le chiffre précis de 82 % ne doit pas être lu comme une mesure isolée sur Mamba seul.
- La “taxe de compression” que j’emploie ici pour relier le gain de coût et la limite de rappel est une lecture interprétative, une façon de nommer un mécanisme déjà documenté par les sources citées. Ce n’est pas un chiffre recalculé ni une mesure publiée sous ce nom par la recherche.
Retour au dossier « Comprendre les modèles post-LLM ». Voir aussi les fiches sœurs : Qu’est-ce que le TRM ? et Qu’est-ce que JEPA ?.
→ Voir l’analyse complète : après les LLM, ce que TRM, Mamba et JEPA prouvent vraiment
ISP-IA16/100· 0-30 % · Preuves très limitées · Onze entrées, et aucune paire n'y mesure le même objet. Les trois chiffres de débit viennent chacun du producteur du modèle qu'ils mettent en avant, sur trois protocoles distincts : AI21 Labs pour Jamba, un hybride, face à Mixtral 8x7B sur les contextes longs, sans que la longueur de contexte de la mesure soit précisée ; NVIDIA pour sa propre famille Nemotron-H ; Gu et Dao pour l'architecture elle-même, quatre à cinq fois le débit d'inférence d'un Transformer de taille comparable, mesuré sur un Mamba de 1,4 milliard de paramètres et un Mamba de 6,9 milliards non entraîné face à des Transformers de 1,3 et 6,7 milliards, invite de 2 048 tokens, génération de 128, trois mesures moyennées sur un GPU A100. La seule mesure de débit d'inférence produite par une équipe indépendante, celle de l'étude de reclassement de l'University of Utah, donne des modèles Mamba plus lents que les Transformers comparés, en demi-précision et par lots de 32 sur un GPU A40 ; ses auteurs écrivent eux-mêmes pourquoi elle ne recoupe pas les précédentes : le reclassement ne demande qu'un seul passage avant, quand l'avantage revendiqué de Mamba se réalise en génération autorégressive. Les deux entrées indépendantes qui documentent la limite de rappel ne mesurent pas non plus la même chose : Arora et ses coauteurs chiffrent à 82 % la part de l'écart de performance expliquée par le rappel associatif, sur la famille plus large des architectures à convolution contrôlée où Mamba n'est pas testé nommément, et Chen et ses coauteurs établissent une cause, l'échec à oublier quand l'entraînement s'est fait sur des contextes trop courts pour la taille de l'état. Aucune de ces sources ne peut donc en confirmer ni en contredire une autre, ce qui est le troisième cas où la convergence ne se mesure pas. Le type de preuve est celui de la transposition : la taxe de compression qui donne son titre à cette page relie deux résultats documentés à leur source, sans qu'aucun dispositif ait éprouvé ce lien sur la question posée. La réplication est nulle : aucun des trois chiffres de débit n'a été ré-exécuté par un tiers. L'axe puissance se note sur les unités observées, et ce sont ici quelques familles de modèles nommées.
L'Indice de solidité des preuves évalue la base empirique de cette analyse sur quatre critères pondérés : type de preuve (40 %), convergence (30 %), réplication (20 %), puissance (10 %). L'axe type de preuve est calibré par champ : 100 y désigne le meilleur dispositif que l'échelle ISP-IA sache produire, et non une preuve absolue.
Onze entrées, et aucune paire n'y mesure le même objet. Les trois chiffres de débit viennent chacun du producteur du modèle qu'ils mettent en avant, sur trois protocoles distincts : AI21 Labs pour Jamba, un hybride, face à Mixtral 8x7B sur les contextes longs, sans que la longueur de contexte de la mesure soit précisée ; NVIDIA pour sa propre famille Nemotron-H ; Gu et Dao pour l'architecture elle-même, quatre à cinq fois le débit d'inférence d'un Transformer de taille comparable, mesuré sur un Mamba de 1,4 milliard de paramètres et un Mamba de 6,9 milliards non entraîné face à des Transformers de 1,3 et 6,7 milliards, invite de 2 048 tokens, génération de 128, trois mesures moyennées sur un GPU A100. La seule mesure de débit d'inférence produite par une équipe indépendante, celle de l'étude de reclassement de l'University of Utah, donne des modèles Mamba plus lents que les Transformers comparés, en demi-précision et par lots de 32 sur un GPU A40 ; ses auteurs écrivent eux-mêmes pourquoi elle ne recoupe pas les précédentes : le reclassement ne demande qu'un seul passage avant, quand l'avantage revendiqué de Mamba se réalise en génération autorégressive. Les deux entrées indépendantes qui documentent la limite de rappel ne mesurent pas non plus la même chose : Arora et ses coauteurs chiffrent à 82 % la part de l'écart de performance expliquée par le rappel associatif, sur la famille plus large des architectures à convolution contrôlée où Mamba n'est pas testé nommément, et Chen et ses coauteurs établissent une cause, l'échec à oublier quand l'entraînement s'est fait sur des contextes trop courts pour la taille de l'état. Aucune de ces sources ne peut donc en confirmer ni en contredire une autre, ce qui est le troisième cas où la convergence ne se mesure pas. Le type de preuve est celui de la transposition : la taxe de compression qui donne son titre à cette page relie deux résultats documentés à leur source, sans qu'aucun dispositif ait éprouvé ce lien sur la question posée. La réplication est nulle : aucun des trois chiffres de débit n'a été ré-exécuté par un tiers. L'axe puissance se note sur les unités observées, et ce sont ici quelques familles de modèles nommées.
- Le gain de débit à l'inférence serait mesuré sur un protocole unique, publié avec son code, ses graines et ses intervalles, couvrant d'un même geste un Mamba pur, un hybride et un Transformer optimisé, au lieu de trois chiffres produits par trois fabricants sur trois protocoles différents.Une équipe sans modèle à défendre, à partir des poids publics des familles concernées · personne ne l’a produit
- La part de l'écart de performance expliquée par le rappel associatif serait mesurée sur des modèles Mamba nommément identifiés, et non sur la famille plus large des architectures à convolution contrôlée où Mamba n'est pas testé un par un.Une équipe académique disposant du protocole de rappel associatif et de poids Mamba publics · personne ne l’a produit
- La longueur de contexte à laquelle le débit trois fois supérieur de Jamba est mesuré serait publiée, le billet qui porte ce chiffre ne la précisant pas.AI21 Labs · existe, mais n’est pas consultable
Ce dispositif porterait l'indice à 22 sur 100, dans le palier « Preuves très limitées ». Les trois autres axes restent à leur valeur actuelle : un dispositif ne fait monter ni la convergence d'une littérature ni sa réplication.
Score de 16/100 (0-30 %) établi le 18 septembre 2026.
I source primaire indépendante · S secondaire spécialisée · P partie prenante ayant un intérêt commercial sur le sujet traité.
Lexique
- LLM· Grand modèle de langage↗
- Modèle d'intelligence artificielle entraîné sur de vastes corpus de texte pour prédire et générer du langage, capable de tâches d'analyse, de synthèse et de génération de texte en langage naturel sans avoir été explicitement programmé pour la tâche demandée.
- Transformer↗
- Architecture de réseau de neurones fondée sur le mécanisme d'attention, à la base des grands modèles de langage actuels.
Modification apportée · mis à jour le 3 septembre 2026
Le chiffre de 82 % sur le déficit de rappel associatif portait sur une famille d'architectures plus large que Mamba seul : la restriction est maintenant dans le paragraphe qui porte le chiffre, pas seulement dans mes réserves plus bas. Sur le débit x3 de Jamba, un modèle hybride et non un Mamba pur, j'ai nommé le modèle de comparaison réel (Mixtral 8x7B) d'après le billet d'AI21 Labs, plutôt que de laisser un « Transformer de taille comparable » invérifiable. J'ai ajouté les sources manquantes pour Codestral Mamba et IBM Granite 4.0, noté que Codestral Mamba a été retiré du catalogue Mistral le 6 juin 2025, présenté la performance de Falcon Mamba comme un résultat publié par son fabricant et daté à sa sortie, requalifié le lien mémoire/rappel comme une lecture de ma part plutôt qu'un fait établi, reformulé une phrase sur l'utilisation du GPU que je ne peux rattacher à aucune source précise, retiré le superlatif « premier » sur Jamba faute de source qui l'établisse, et resserré une conclusion qui tirait deux facteurs explicatifs d'un seul contre-exemple. J'ai ajouté deux encadrés « En clair » : l'un sur le résumé de taille fixe qui remplace la comparaison de tous les mots entre eux, l'autre sur le détail que cette compression fait perdre.
Développe une méthode d'analyse destinée à distinguer ce que les preuves établissent, ce qu'elles suggèrent et ce qu'elles ne permettent pas de conclure, puis à traduire cette distinction en décisions professionnelles.
Choix du sujet, direction de la rédaction, validation ou modification des sources, validation et retravail du texte et des illustrations : Axel Morel. Rédaction, choix des sources initiales et plan de rédaction initial : assistance IA.
Responsabilité éditoriale : Axel Morel. Recherche et rédaction assistées par IA selon la méthodologie Probans, sources vérifiées avant publication. Charte éditoriale.
En savoir plus