公開日

Transformerはコンポーネントになりつつある

著者

Listen in English · Transformerはコンポーネントになりつつある

0:00 / 0:00

Watch in English · Transformerはコンポーネントになりつつある

最先端モデルを構築している人々と時間を過ごすと、リーダーボードには隠れているパターンが見えてくる。彼らの異常なほど多くの人々が、Transformerではない何かに取り組んでいるのだ。

フロンティアモデルを構築している人々と時間を過ごすと、リーダーボードには隠れているパターンが見えてくる。彼らの異常なほど多くの人々が、Transformerではない何かに取り組んでいるのだ。

今四半期は置き換えない。実資金を投じながら、並行して生きた研究課題として取り組んでいる。トークンもピクセルも一切生成しないJEPA型の予測アーキテクチャ。段落全体を一度にノイズ除去する拡散言語モデル。注意機構の二次走査を固定サイズの再帰状態で置き換えるMambaと状態空間系。それぞれが同じ問いへの異なる答えだ。機械は実際に何を計算すべきなのか?

3T
Kimi K3(2026年7月リリース)のパラメータ — アクティブ104B、1Mコンテキスト、線形アテンション層と通常アテンション層を3:1で組み合わせたスタック
4–7×
3:1比率のハイブリッドでKVキャッシュが7分の1になり、RULERリコールではフルアテンションと同等以上
96–432×
MMLUで60.7を記録する1BモデルについてHRM-Textが主張する推定学習計算量が432分の1

実際にリリースされたもの

中規模以上で純粋なリカレントモデルを出荷した者はいない。出荷されたのは比率だ。ハイブリッド線形アテンションの条件を揃えた研究では、有用な帯域は線形:フルで3:1から6:1にあり、そこではハイブリッドがKVキャッシュを4~7分の1にしながら、リコールベンチマークでフルアテンションのベースラインに近づくか、それを超える。Kimi K3の報告では、独自のアブレーションが3:1に着地している——検証パープレキシティは5.65対1:1の5.66——93個のテキスト層にわたり、そのうち24層がフルアテンションだ。NVIDIAのNemotron-Hは、同等の精度で最大約3倍高速な推論を報告しており、IBMのGranite 4.0-Hは70%超のメモリ削減を報告している。

状態空間の議論は2023年のMamba以来続いている。正直なスコアカードはこうだ。線形時間の混合はスループットとメモリで勝ち、単独ではリコールを失い、業界は少数のアテンション層を残すことで対応した。

どちらもベンダーのスタック上で測られたベンダーの数値であり、どちらも構造的に驚くことではない。伸びるもの(計算量が増えるもの)を取り除いたのだから。

  1. 状態空間 · Mamba、RWKV、KDA

    固定サイズの再帰状態、系列長に対して線形の計算量。約3:1のハイブリッドとして提供される。

  2. 拡散 · Mercury、LLaDA

    一度に1トークンずつではなく、多数のトークンをまとめてノイズ除去する。推論が5~10倍高速と謳われている。

  3. 結合埋め込み · JEPA

    ピクセルやトークンを生成するのではなく、潜在空間で予測する。LeCunはMetaを去り、2026年にAMI Labsを設立した。

  4. 変わらぬデフォルト

    Transformerは、上記すべてのモデルの基盤であり続けている——もはやそのすべてではないだけだ。

4つの系統、機械が何を計算すべきかについての4つの異なる賭け。

反例は重要だ。MiniMaxは456Bで線形ハイブリッドの戦略を実行し、公の場で方針を撤回して、完全アテンションを出荷し、ポストモーテムを付けた。開発規模では同等、より大規模ではマルチホップの不足。2026年6月の論文は、思考連鎖(chain-of-thought)のファインチューニングがハイブリッドにおける長距離リコールを劣化させると見出した。リコールはアーキテクチャが一度持つ性質ではない。それはチェックポイントが、それに対して行ったすべての後に持つ性質だ。

拡散は好奇心の対象ではなくなった

拡散言語モデルは通常の取り決めを逆転させる。トークンを次々と出力するのではなく、ノイズから始めてブロック全体を並列にノイズ除去し、テキストが確定するまで反復する。InceptionのMercuryは初の商用規模のバージョンで、同等の自己回帰モデルの5〜10倍の推論速度と宣伝されていた。2026年までにホスト型生成は毎秒1000トークンを超えており、70BのLLaDA 2やGoogleのGemini Diffusionも同じ系統に属している。

効率性の主張は推論に関するものであり、訓練に関するものではない。そして、その区別は失われがちだ。より高速なデコーディングは、サービングとエージェントループの経済性を変える。それ自体が、訓練計算量あたりでモデルを賢くするわけではない。

並列デコーディング対トークンごとの生成

次の10年の覇権を争う4つのアーキテクチャファミリー

計算資源の問い、それが本当の問い

ここが、その主張が検証可能なほど具体化する地点だ。Yasin Abbasi Yadkoriを含むグループによる1BモデルであるHRM-Textは、標準的なTransformerを、計算を遅い戦略層と速い実行層に分割する階層型リカレントモデルに置き換える。400億トークンでゼロから学習し、予算は1,500ドルで、MMLUで60.7、GSM8Kで84.5、MATHで56.2を報告している。これは2~7倍の規模のオープンモデルと競合し、標準ベースラインより推定計算量が約96~432分の1で済む。

それを注意深く読んでください。それは1Bモデルであり、フロンティアモデルではありません。そして「推定」という言葉がこの文で重要な役割を果たしています。しかし、それは重要な特定の事柄の存在証明です。すなわち、異なるアーキテクチャと異なる訓練目的が、能力対計算量の比を劇的に改善したということです。

HRM-Text、控えめな見積もり96×

標準ベースラインより訓練計算量が〜倍少ない

HRM-Text、寛大な見積もり432×

論文の上限によれば〜倍少ない

1Bモデルを1,500ドルで訓練。範囲は著者自身のもので、著者自身のベースラインに基づく。

同じ方向性のフロンティア規模版は、より静かだ。Kimi K3の報告にはスケーリングフィットが含まれており、そのアテンション変種は約1.16分の1の計算量で同等の損失に到達する。14パーセントの節約であり、革命ではなく、2.8兆パラメータで測定されたものではなく研究用テストベッドからの外挿だ。これが、ブレークスルーに見える前の進歩が通常示す姿である。

なぜブレークスルーが妥当な賭けなのか

主張は、単一のアーキテクチャがまもなく勝つということではない。探索空間が広がる一方で、測定がより鋭くなったということだ。

10年間、アーキテクチャは一つ、レシピも一つだった。だから能力は、より多くの計算資源とより多くのデータからもたらされた。現在は、実運用中または本格的研究の段階にある4つの系統があり、それぞれ異なる失敗モードを持つ。ハイブリッドは正確な想起を失い、拡散モデルは左から右への契約を失い、JEPAは生成テキストのインターフェースを失い、Transformerはメモリに関する論拠を失う。異なる失敗モードは異なるニッチを意味し、ニッチは並行した資金供給を意味する。

ここには、総訓練計算量が減ることを示唆するものは何もない。業界自身の計画はむしろ逆を示している。価値のある主張はもっと狭く、より有用だ。計算量あたりに返ってくる知能の量は、もはやモデルが大きくなることだけによって改善しているのではない。計算の形が変わっているから改善しているのだ。そしてその方向性は、アーキテクチャ自体が疑問視されてからの時間の長さに比べれば、ほとんど探求されていない。

これらには日付が付いていない。今日確認できるのは、ハイブリッドがフロンティア規模で出荷され、拡散モデルが毎秒1000トークンをデコードし、潜在予測の研究には10億ドル規模のラボが背後にあり、10億パラメータモデルが標準的な学習計算量を2桁下回ったということだ。この軸が過去18か月のペースで動き続けるなら、問題はブレークスルーが来るかどうかではなく、どのファミリーがそれを実現するかになる。

出典:arXiv 2605.20613(HRM-Text)、Kimi K3技術レポート(2026年7月)、「2026年の状態空間モデル:リコールギャップ」(2026年8月、arXiv 2507.06457、2603.15569、2606.11052を引用)、Inception LabsのMercury資料、2026年11月までの状態空間モデルおよびJEPA関連文献。

連絡先:[email protected]

日本語版は Ai 支援を使用しているため、小さな間違いが存在する可能性があることをご了承ください。

著者

Ai-Banking-NetworkSecurity (ABN), ABN ASIAは、アカデミアに深く関わり、アメリカ、オランダ、ハンガリー、日本、韓国、シンガポール、ベトナムでの仕事経験を持つ人々によって設立されました。ABN ASIAは、学問とテクノロジーが機会と出会う場所です。最先端のソリューションと優れたソフトウェア開発サービスにより、ビジネスがレベルアップし、グローバルシーンに挑戦できるよう支援しています。 私ちの取り組み: より速く。 より良い。 より信頼性が高くなります。 ほとんどの場合、価格も安くなります。

いつでも、ITサービス、デジタルコンサルティング、既製のソフトウェアソリューション、または提案依頼書(RFP)をお探しの際は、お気軽にお問い合わせください。お問い合わせ先は[email protected]です。お客様のテクノロジーに関するニーズにお応えします。

ABNAsia.org

© ABN ASIA