- Publié le
Le Transformer est en train de devenir un composant.
- Auteurs

- Nom
- AbnAsia.org
- @steven_n_t
Listen in English · Le Transformer est en train de devenir un composant.
0:00 / 0:00
Watch in English · Le Transformer est en train de devenir un composant.
Passez du temps avec les personnes qui construisent des modèles de pointe, et un schéma apparaît que les classements cachent : un nombre inhabituel d’entre elles travaillent sur quelque chose qui n’est pas un Transformer.
Passez du temps avec les personnes qui construisent les modèles de pointe et un schéma apparaît que les classements cachent : un nombre inhabituel d’entre elles travaillent sur quelque chose qui n’est pas un Transformer.
On ne le remplace pas ce trimestre. On y travaille comme sur une question de recherche active, en parallèle, avec de l’argent réel. Des architectures prédictives de style JEPA qui ne génèrent jamais un token ni un pixel. Des modèles de langage à diffusion qui débruitent un paragraphe entier d’un seul coup. Mamba et la famille des modèles à espace d’état, qui remplacent le balayage quadratique de l’attention par un état récurrent de taille fixe. Chacune est une réponse différente à la même question : que devrait réellement calculer la machine ?
Ce qui a réellement été livré
Personne n’a commercialisé de modèle purement récurrent au-delà de la taille moyenne. Ce qui a été déployé, c’est un ratio. Une étude appariée sur l’attention linéaire hybride a situé la plage utile entre 3:1 et 6:1 (linéaire/complète), où les hybrides approchent ou dépassent une référence à attention complète sur les benchmarks de rappel avec quatre à sept fois moins de cache KV. Le rapport de Kimi K3 place sa propre ablation à 3:1 — une perplexité de validation de 5,65 contre 5,66 à 1:1 — sur 93 couches de texte, dont 24 en attention complète. Nemotron-H de NVIDIA rapporte une inférence jusqu’à environ trois fois plus rapide à précision égale ; Granite 4.0-H d’IBM rapporte plus de 70 % de mémoire en moins.
Le débat sur les espaces d’état dure depuis Mamba, en 2023. Le bilan honnête : le mélange en temps linéaire a gagné en débit et en mémoire, a perdu en rappel à lui seul, et l’industrie a répondu en conservant une minorité de couches d’attention.
Les deux sont des chiffres de fournisseurs sur des stacks de fournisseurs, et les deux sont structurellement peu surprenants : vous avez retiré ce qui croît.
Espace d’état · Mamba, RWKV, KDA
État récurrent de taille fixe, calcul linéaire en longueur de séquence. Livré sous forme d’hybride à environ 3:1.
Diffusion · Mercury, LLaDA
Débruite plusieurs tokens à la fois au lieu d’un seul à la fois. Inférence annoncée 5 à 10 fois plus rapide.
Plongement conjoint · JEPA
Prédit dans un espace latent plutôt que de générer des pixels ou des tokens. LeCun a quitté Meta et fondé AMI Labs en 2026.
Le défaut inchangé
Le Transformer, toujours la base de chacun des modèles ci-dessus — mais il n’en constitue plus la totalité.
Le contre-exemple compte. MiniMax a mené la stratégie de l’hybride linéaire à 456B et a fait marche arrière publiquement, en livrant l’attention complète avec un post-mortem : parité à l’échelle du développement, déficits multi-sauts à plus grande échelle. Un article de juin 2026 a constaté que le fine-tuning sur chaîne de pensée dégrade le rappel à longue portée dans les hybrides. Le rappel n’est pas une propriété qu’une architecture possède une fois pour toutes ; c’est une propriété qu’un checkpoint possède, après tout ce que vous lui avez fait.
La diffusion a cessé d’être une curiosité
Les modèles de langage de diffusion inversent le contrat habituel. Au lieu d’émettre jeton après jeton, ils partent du bruit et débruisent tout un bloc en parallèle, en itérant jusqu’à ce que le texte se stabilise. Mercury d’Inception a été la première version à l’échelle commerciale, annoncée comme cinq à dix fois plus rapide en inférence que des modèles autorégressifs comparables ; d’ici 2026, la génération hébergée dépasse les mille jetons par seconde, avec LLaDA 2 à 70B et Gemini Diffusion de Google dans la même famille.
La revendication d’efficacité concerne l’inférence, pas l’entraînement, et cette distinction se perd. Un décodage plus rapide change l’économie du service et des boucles d’agents. Cela ne rend pas en soi un modèle plus intelligent par unité de calcul d’entraînement.


La question du calcul, qui est la vraie question
Voici où l’argument devient suffisamment concret pour être testé. HRM-Text, un modèle de 1 milliard de paramètres issu d’un groupe comprenant Yasin Abbasi Yadkori, remplace le Transformer standard par un modèle récurrent hiérarchique qui répartit le calcul entre une couche stratégique lente et une couche d’exécution rapide. Entraîné de zéro sur 40 milliards de tokens avec un budget de 1 500 $, il obtient 60,7 sur MMLU, 84,5 sur GSM8K et 56,2 sur MATH — compétitif avec des modèles ouverts deux à sept fois plus grands, avec environ 96 à 432 fois moins de calcul estimé que les références standard.
Lisez cela attentivement. C’est un modèle 1B, pas un modèle de pointe, et « estimé » fait tout le travail dans la phrase. Mais c’est une preuve d’existence de la chose précise qui compte : une architecture différente associée à un objectif d’entraînement différent a produit un rapport capacité/calcul radicalement meilleur.
fois moins de calcul d’entraînement que les références standard
fois moins, selon la borne supérieure de l’article
La version à l’échelle frontière de la même direction est plus discrète. Le rapport de Kimi K3 inclut un ajustement de scaling dans lequel sa variante d’attention atteint une perte équivalente avec environ 1,16 fois moins de calcul — une économie de 14 %, pas une révolution, et extrapolée à partir d’une plateforme de recherche plutôt que mesurée à 2 800 milliards de paramètres. Voilà à quoi ressemble habituellement le progrès avant de ressembler à une percée.
Pourquoi une percée est le pari raisonnable
L’argument n’est pas qu’une architecture unique soit sur le point de l’emporter. C’est que l’espace de recherche s’est élargi tandis que la mesure est devenue plus précise.
Pendant une décennie, il y a eu une seule architecture et une seule recette, si bien que la capacité venait de plus de calcul et de plus de données. Aujourd’hui, il y a quatre familles en production ou en recherche sérieuse, chacune avec un mode de défaillance différent : les hybrides perdent le rappel exact, la diffusion perd le contrat de gauche à droite, JEPA perd l’interface du texte généré, le Transformer perd l’argument de la mémoire. Des modes de défaillance différents impliquent des niches différentes, et des niches impliquent un financement parallèle.
Rien ici ne suggère que le calcul total d’entraînement diminue — les propres plans de l’industrie pointent dans la direction opposée. L’affirmation qui vaut la peine d’être faite est plus étroite et plus utile : la quantité d’intelligence obtenue par unité de calcul ne s’améliore plus uniquement parce que les modèles sont plus grands. Elle s’améliore parce que la forme du calcul change — et ce vecteur n’a été que très peu exploré au regard du temps écoulé depuis que l’architecture elle-même a été remise en question.
Rien de tout cela n’est daté. Ce qui est vérifiable aujourd’hui : les modèles hybrides sont déployés à l’échelle des modèles de pointe, la diffusion décode à mille jetons par seconde, la recherche sur la prédiction latente est portée par un laboratoire à un milliard de dollars, et un modèle de 1 milliard de paramètres a nécessité deux ordres de grandeur de moins que le calcul d’entraînement standard. Si l’axe continue de progresser au rythme des dix-huit derniers mois, la question n’est plus de savoir si une percée surviendra, mais quelle famille la concrétisera.
Source : arXiv 2605.20613 (HRM-Text) ; rapport technique Kimi K3 (juillet 2026) ; « State Space Models in 2026: The Recall Gap » (août 2026), citant arXiv 2507.06457, 2603.15569 et 2606.11052 ; la documentation Mercury d’Inception Labs ; la littérature sur les modèles à espace d’états et JEPA jusqu’en novembre 2026.
Contact : [email protected]
Veuillez noter que la version française est assistée par Ai, des erreurs mineures peuvent donc exister.
Auteur
Ai-Banking-NetworkSecurity (ABN), ABN ASIA a été fondée par des personnes ayant des racines profondes dans le milieu académique, avec une expérience professionnelle aux États-Unis, aux Pays-Bas, en Hongrie, au Japon, en Corée du Sud, à Singapour et au Vietnam. ABN ASIA est l'endroit où l'académie et la technologie rencontrent l'opportunité. Avec nos solutions de pointe et nos services de développement logiciel compétents, nous aidons les entreprises à se développer et à s'imposer sur la scène mondiale. Notre engagement : Plus vite. Mieux. Plus fiable. Dans la plupart des cas : moins cher également.
N'hésitez pas à nous contacter chaque fois que vous avez besoin de services informatiques, de conseils en matière de numérique, de solutions logicielles prêtes à l'emploi, ou si vous souhaitez nous envoyer des demandes de propositions (RFP). Vous pouvez nous contacter à l'adresse [email protected]. Nous sommes prêts à vous aider avec tous vos besoins technologiques.

© ABN ASIA