公開日

ファーウェイ製シリコン上で2兆パラメータを実行すれば、ハードウェアをめぐる見方は一変するだろう。

著者

Listen in English · ファーウェイ製シリコン上で2兆パラメータを実行すれば、ハードウェアをめぐる見方は一変するだろう。

0:00 / 0:00

Watch in English · ファーウェイ製シリコン上で2兆パラメータを実行すれば、ハードウェアをめぐる見方は一変するだろう。

中国発の噂によると、DeepSeekはV5を事前学習している——約2兆パラメータ、超スパースなMoE——Huawei Ascend 950シリコン上で、HuaweiのカーネルエンジニアがDeepSeekのオフィス内で作業しているという。もし事実なら、ボトルネックはチップからコンパイラへ移る。

今朝流れている噂によると、DeepSeekはすでにV5を事前学習している。約2兆パラメータの超スパースなMixture-of-Experts(MoE)モデルで、そして重要なのは、その事前学習をNVIDIA製ハードウェアではなくHuaweiのAscend 950 / 950DTで実行しているという。同じアカウントは、Huaweiのカーネルエンジニアがクラスタを稼働させ続けるためにDeepSeekのオフィス内で物理的に作業していると主張している。

ここにあることは何も確認されていない。論文もベンチマークもハードウェアの開示もない。以下のすべての数字は、報告されている事実ではなく、繰り返されている主張として扱うこと。

2T
主張されているパラメータ数 — DeepSeekの前回のフラッグシップの約3倍で、未検証
950
トレーニング基盤としてNVIDIAではなくHuawei Ascendシリコンが名指しされている
0
そのいずれかを裏付ける公開ベンチマーク、論文、ハードウェア開示はない

「超スパース」が興味深い言葉である理由

Mixture-of-Expertsモデルは多数の専門的なサブネットワークを保持し、各トークンをそのうちの少数にのみルーティングします。総パラメータ数は膨大になり得る一方で、トークンあたりの計算量は控えめなままで済みます。コストを払うのはメモリとルーティングに対してであり、すべてをすべてと掛け合わせることに対してではありません。

V3(公開済み)671Bパラメータ
V5(主張)2,000Bパラメータ
総パラメータ数(10億単位)。V5の数値は噂による主張であり、開示されていない。

2兆パラメータになると、「超スパース」はもはや些末な詳細ではなくなり、エンジニアリング上の問題そのものになる。モデルはもはや通常の前提に収まらない。エキスパートは多数のデバイスにシャードされ、トークンはそれらのデバイス間を低コストでルーティングされなければならず、相互接続が演算ユニットではなく上限となる。まさにその層で、非NVIDIAスタックは歴史的に失敗してきた。

  1. モデルがトラフィックを規定する

    超疎ルーティングは、クラスタ全体に分散した少数のエキスパートへ各トークンを送る — 密な行列積ではなく、全対全通信だ。

  2. スループットを決めるのはカーネルだ

    アテンション、ルーティング、集団通信、メモリ移動はそれぞれ、特定のチップ向けに手作業で調整したカーネルを必要とする。移植がたいていここで頓挫する。

  3. エンジニアはモデルチームと同席する

    カーネルエンジニアがオンサイトにいるという噂がその証拠だ。それはソフトウェアスタックがターンキーではなく、共同開発が必要だったことを示唆する。

  4. 実行は完了するか、しないかのどちらかだ

    フロンティア級の事前学習実行は、たった一度の容赦ないテストだ。部分的な成功は失敗であり、だからこそ誰も軽々しく成功を主張しない。

ボトルネックはチップからコンパイラへ移った。

ハードウェアに関する主張こそが本題だ

  1. CUDAの堀は、シリコンの層ではなくソフトウェアの層で侵食される。 大規模なトレーニング実行の移植は、エンジニア年単位で測られるコンパイラとカーネルのプロジェクトだ。一度それを成し遂げれば、再び成し遂げられることが証明される。
  2. 人材の同居が製品になる。 顧客のオフィスにエンジニアを送り込むチップベンダーは、ハードウェアではなく統合を売っている。そのモデルは、チップの通常の販売方法よりも、エンタープライズソフトウェアの導入方法に近い。

誰もが、中国のラボが制約されたハードウェアで訓練し、驚くほど遠くまで到達するのを目にしてきた。ここで新しいのは規模だ。ファインチューニングでも推論でもなく、国産シリコン上でのフロンティア級の事前学習実行である。

もしそれが本当なら、三つのことが導かれるが、そのいずれもモデルが何かに勝つことを必要としない:

輸出管理に新たな反事実が加わる。 規制は、学習の最先端には特定のサプライチェーンが必要だという前提に一部支えられて正当化されてきた。Ascend上でフロンティア級の学習実行が完了すれば、その前提は弱まり、代わりに製造装置とメモリへの管理を正当化する根拠が強まるだろう。

実際に注目すべき点

この種の噂は簡単に流れるが、物的証拠は別だ。クラスタ名を示す技術レポート、チップあたりのスループット値、またはAscend上でしか十分に動作しない推論リリースに注目してほしい。そのどれか一つでもあれば、これは主張からデータポイントへと変わる。

私たちはデータと推論のシステムを構築しており、この特定のうわさが真実かどうかに関わらず、実践的な教訓はすでに明らかだ。モデルの可搬性はソフトウェアの性質であり、ハードウェアの性質ではない。 カーネル、ルーティング、メモリレイアウトを第一級のエンジニアリングとして扱うチームは、異なる基盤間を移行できる。それらをベンダー任せの問題として扱うチームは、まったく移行できない。

出典:2026年11月12日に流布した、DeepSeek V5およびHuawei Ascend 950/950DTに関する未検証の噂。執筆時点で一次資料は入手できず、数値はすべて当該アカウントの主張によるもので、独立した確認は得られていない。

連絡先:[email protected]

日本語版は Ai 支援を使用しているため、小さな間違いが存在する可能性があることをご了承ください。

著者

Ai-Banking-NetworkSecurity (ABN), ABN ASIAは、アカデミアに深く関わり、アメリカ、オランダ、ハンガリー、日本、韓国、シンガポール、ベトナムでの仕事経験を持つ人々によって設立されました。ABN ASIAは、学問とテクノロジーが機会と出会う場所です。最先端のソリューションと優れたソフトウェア開発サービスにより、ビジネスがレベルアップし、グローバルシーンに挑戦できるよう支援しています。 私ちの取り組み: より速く。 より良い。 より信頼性が高くなります。 ほとんどの場合、価格も安くなります。

いつでも、ITサービス、デジタルコンサルティング、既製のソフトウェアソリューション、または提案依頼書(RFP)をお探しの際は、お気軽にお問い合わせください。お問い合わせ先は[email protected]です。お客様のテクノロジーに関するニーズにお応えします。

ABNAsia.org

© ABN ASIA