发布于

Transformer 正在变成一个组件。

作者

Listen in English · Transformer 正在变成一个组件。

0:00 / 0:00

Watch in English · Transformer 正在变成一个组件。

花时间与构建前沿模型的人相处,就会发现一个被排行榜掩盖的规律:他们中有异常多的人正在研究某种并非 Transformer 的东西。

如果你花时间接触构建前沿模型的人,就会发现一个被排行榜掩盖的模式:他们中异常多的人正在研究某种不是 Transformer 的东西。

本季度不会替换它。我们把它作为一个持续进行的研究问题,并行地投入真金白银去推进。JEPA 风格的预测架构,从不生成 token 或像素。扩散语言模型,一次对整个段落去噪。Mamba 和状态空间家族,用固定大小的循环状态取代注意力的二次扫描。每一个都是对同一个问题的不同回答:机器究竟应该计算什么?

3T
Kimi K3 中的参数,于 2026 年 7 月发布——104B 激活参数、1M 上下文,以及 3:1 的线性注意力与注意力层堆叠比例
4–7×
在 3:1 比例下,混合模型的 KV 缓存减少 7 倍,同时在 RULER 召回上匹配或超越全注意力
96–432×
HRM-Text 声称,对于一个在 MMLU 上得分 60.7 的 1B 模型,估计训练计算量减少 432 倍

实际交付了什么

没有人发布过中等规模以上的纯循环模型。实际交付的是一个比例。一项关于混合线性注意力的匹配研究将有用区间定在 3:1 到 6:1(线性注意力与全注意力之比),在此区间内,混合模型在召回基准上接近或超过全注意力基线,同时 KV 缓存少四到七倍。Kimi K3 的报告将其自身的消融实验定在 3:1——验证困惑度为 5.65,而 1:1 时为 5.66——覆盖 93 个文本层,其中 24 个为全注意力。NVIDIA 的 Nemotron-H 报告在同等准确率下推理速度最高约快三倍;IBM 的 Granite 4.0-H 报告内存降低超过 70%。

自 2023 年 Mamba 以来,状态空间论证就一直在进行。诚实的成绩单是:线性时间混合在吞吐量和内存上取胜,但单独使用时损失了召回能力,而行业的回应是保留少部分注意力层。

两者都是厂商技术栈上的厂商数据,而且两者在结构上都不令人意外:你去掉了那个会增长的东西。

  1. 状态空间 · Mamba、RWKV、KDA

    固定大小的循环状态,计算量随序列长度线性增长。以约 3:1 的比例作为混合架构发布。

  2. 扩散 · Mercury、LLaDA

    一次对多个 token 去噪,而不是逐个处理。宣称推理速度提升 5–10 倍。

  3. 联合嵌入 · JEPA

    在潜空间中进行预测,而不是生成像素或 token。LeCun 于 2026 年离开 Meta,创立 AMI Labs。

  4. 未改变的默认项

    Transformer,仍是上述每个模型的基础——只是不再是其全部。

四类架构,四种关于机器应该计算什么的不同押注。

反例很重要。MiniMax 在 456B 规模上采用了线性混合路线,并公开转向,推出全注意力模型并附上复盘:在开发规模上持平,在更大规模上出现多跳能力不足。2026 年 6 月的一篇论文发现,思维链微调会削弱混合架构的长程召回能力。召回并不是架构一旦拥有就始终具备的属性;它是检查点在经历你对它所做的一切之后才拥有的属性。

扩散模型不再只是猎奇

扩散语言模型颠覆了通常的约定。它们不再逐个生成 token,而是从噪声开始,并行地对整个块去噪,反复迭代直到文本成形。Inception 的 Mercury 是首个商业规模的版本,宣称推理速度是同类自回归模型的五到十倍;到 2026 年,其托管生成速度已超过每秒一千个 token,700 亿参数的 LLaDA 2 和谷歌的 Gemini Diffusion 也属于同一家族。

关于效率的说法针对的是推理,而不是训练,而这一区别常常被忽略。更快的解码会改变服务经济和智能体循环的经济性。它本身并不会让模型在单位训练算力下变得更聪明。

并行解码与逐 token 生成

四大架构家族争夺下一个十年

算力问题,才是真正的问题

这里论证变得足够具体,可以进行检验。HRM-Text 是一个 1B 模型,来自包括 Yasin Abbasi Yadkori 在内的团队,它用分层循环模型取代标准 Transformer,将计算拆分为慢速战略层和快速执行层。该模型从零开始在 400 亿 token 上训练,预算为 1,500 美元,报告在 MMLU 上得 60.7 分、GSM8K 上得 84.5 分、MATH 上得 56.2 分——与规模大两到七倍的开源模型相当,而估计计算量约为标准基线的 1/96 到 1/432。

仔细读一下。它是一个 1B 模型,不是前沿模型,而“estimated(估计)”这个词在句中起着关键作用。但它是真正重要的那件具体事情的一个存在性证明:不同的架构加上不同的训练目标,产生了显著更好的能力与算力之比。

HRM-Text,保守估计96×

训练计算量比标准基线少数倍

HRM-Text,宽松估计432×

少数倍,依据论文的上限

一个 1B 模型训练成本为 1,500 美元。该范围是作者基于其自身基线给出的。

同一方向在前沿规模上的版本则更低调。Kimi K3 的报告包含一项缩放拟合:其注意力变体在计算量约少 1.16 倍时达到相同损失——也就是节省 14%,并非革命,而且是从研究测试平台外推而来,而非在 2.8 万亿参数规模上实测。在看起来像突破之前,进步通常就是这个样子。

为什么突破是合理的押注

理由并不是某一种架构即将胜出,而是搜索空间扩大了,同时测量也变得更精确。

十年来,只有一种架构和一种配方,因此能力来自更多算力和更多数据。如今,已有四个家族处于生产或严肃研究中,每个都有不同的失效模式:混合架构失去精确召回,扩散模型失去从左到右的约定,JEPA 失去生成文本的接口,Transformer 失去内存论证。不同的失效模式意味着不同的生态位,而生态位意味着并行资助。

这里没有任何内容表明训练总算力会下降——行业自身的计划恰恰指向相反方向。值得提出的主张更狭窄,也更有用:每单位算力所回报的智能量,不再仅仅因为模型更大而提升。它之所以提升,是因为计算的形态正在改变——而相较于自有人质疑架构本身以来已过去的时间,这一方向几乎尚未被探索。

这些都没有标注日期。今天可以核验的是:混合架构已在前沿规模上交付,扩散模型解码速度达到每秒一千个 token,潜在预测研究背后有十亿美元级实验室支持,而一个 10 亿参数模型把标准训练算力降低了两数量级。如果这条轴线保持过去十八个月的速度,问题就不再是突破是否会到来,而是哪个技术家族会实现它。

来源:arXiv 2605.20613(HRM-Text);Kimi K3 技术报告(2026年7月);《2026年的状态空间模型:召回差距》(2026年8月),引用 arXiv 2507.06457、2603.15569 和 2606.11052;Inception Labs 的 Mercury 材料;截至2026年11月的状态空间与 JEPA 文献。

联系方式:[email protected]

请注意,中文版本是由 AI 辅助翻译的,因此可能存在细微错误。

作者

Ai-Banking-NetworkSecurity (ABN), ABN ASIA由具有深厚学术背景的人员创立,他们在美国、荷兰、匈牙利、日本、韩国、新加坡和越南等国家有工作经验。ABN Asia是学术界和技术相遇的地方。凭借我们领先的解决方案和优秀的软件开发服务,我们帮助企业提升水平,走向全球舞台。我们的承诺:更快。更好。更可靠。在大多数情况下:也更便宜。

无论您需要IT服务、数字咨询、现成软件解决方案,还是想向我们发送招标要求(RFPs),都请随时与我们联系。您可以通过[email protected]与我们联系。我们随时准备为您提供所有技术需求的帮助。

ABNAsia.org

© ABN ASIA