カルパシー氏の小型モデル仮説が試される：8.8Bモデルがフロンティアのコーディング性能の93%を達成

Andrej Karpathyは、知性はそもそも知識ではなかったのだから、1Bモデルが現在のほとんどのLLMを上回ることができると主張している。webAIのオープンウェイトモデルTwIL-8Bは、88億パラメータで、フロンティア級のコーディングスコアの93%、指示追従で92%に達する一方、知識ベンチマークでは依然として大きく後れを取っている。

アンドレイ・カルパティの小規模モデルに関する主張は、小さい方が優れているということではない。現在のモデルが容量の大半を費やしているのは、知能ではないということだ。

「1Bモデルは、現在のほとんどのLLMよりもはるかに効果的になり得る」と彼は書いた。「現在のモデルの90%は、重要でない事柄を記憶することに大量の容量と資金を浪費している」

率直に言えば、その主張は、現代のモデルが学習するものの大部分は記憶されたテキストであり、実際に推論する部分は、それを担うモデル本体よりもはるかに小さいというものだ。Karpathyは今年を通じてさまざまな形でこの議論を繰り返しており、今週、webAIの8.8Bオープンウェイトモデルがそれに測定可能な検証を与えた。

五つの主張

Karpathyの立場は五つの部分に分かれる。

知性は決して知識ではなかった。 記憶されたインターネットを取り除き、推論を残せば、残るのは認知の中核であり、それは小さい。

中核部分は約10億パラメータに収まるかもしれず、それ以下かもしれない。 彼の言い回しはファインマンのタイトルを借りている。底にはまだ余地がある、と。彼の見立てでは、業界は必要なのが脳だったのに、図書館の対価を払ってきた。

サイズはもはやボトルネックではない。 エージェントを機能させるのは、呼び出せるツールとフィードバックループの密接さであり、パラメータ数ではない。

知能は重みではなくシステムに宿る。 生のモデルはOSのないCPUであり、優れたハーネス内の小さな中核は、単独の巨大モデルに勝る。

自分で所有できます。 自分のハードウェア上で動くモデルなら、誰にもレート制限も値上げも廃止もされません。

テストが示すこと

webAIは、IBMのGranite 4.2 8Bを基に、全パラメータの教師ありファインチューニングとGRPO強化学習でポストトレーニングし、さらに短い推論トレースに報酬を与える長さを考慮したRL段階を追加した、87.9億パラメータの推論モデルTwIL-8Bを公開しました。

公開されている比較では、TwIL-8BはLiveCodeBenchのコーディングで最高のフロンティアスコアの93%、IFBenchの指示追従で92%、HMMT November 2025で90%、AIME 2026で88%に達しています。MATH-500では98.2、LiveCodeBenchでは81.6を記録し、GPT-5.5、Claude Opus 4.8、Grok 4.3から2.9〜6.2ポイント以内です。また、IFBenchではClaude Opus 4.8を12.2ポイント上回っています。

ローカルでも動作します。bfloat16で87.9億パラメータ、またはCPUや控えめなGPU向けの4.98 GiBのQ4_K_Mビルドです。

まさにカーパシーの枠組みが予測する通りの落とし穴だ。TwIL-8Bは知識モデルではない。GPQA Diamondは70.2で、フロンティアから約20〜23ポイント遅れている。HLEは12.6で、最高のフロンティアスコアの約26%に相当する。MMLU-Proは76.5だ。最も難しい競技セットであるHMMT February 2026では、フロンティアの69%まで落ち込む。

その対比は、この主張を縮図にしたものだ。ベンチマークが蓄積された知識に報いる場面では、小型モデルは負ける。推論と指示追従に報いる場面では、サイズのほんの一部でありながら数ポイント以内に迫る。

注意点は現実に存在する

モデルカードは、数値が示していないことについて異例なほど率直だ。

競合他社のスコアは再実行されておらず、ベンダー提供のモデルカードと、それぞれ独自のプロンプト、サンプリング、トークン予算を用いた第三者評価から取られたものだ。AIMEとHMMTのセットは30〜33問で構成されるため、1問あたり約3点に相当し、その程度の差はノイズの範囲に収まる。TwIL-8B自身の行のいくつかは、その冗長版で測定されており、バランス版では実行されていない。SWE-bench、ツール使用、エージェント的タスクはまったく評価されていない。ライセンスはwebAIの非商用ライセンスであり、オープンソースライセンスではない。

さらに冗長だ。AIME 2026の問題1問あたり約19,500出力トークンで、GPT-5.5が費やす量のおよそ4倍になる。

それが変えるもの

Karpathyの4番目と5番目の主張こそ、このリリースが実際に検証するものだ。5ギガバイトで動作するモデルは、チームが自前のハードウェアに置き、トークンごとの課金メーターなしで呼び出し、ベンダーが製品構成を変えた後も保持できるモデルだ。それが所有権の主張であり、あらゆる項目でフロンティアに勝つことには依存しない。

彼の予測では、12か月後、オンデバイスで出荷するチームとトークンごとにフロンティアモデルの料金を支払うチームの間の差は、能力の差ではなくなる。TwIL-8Bが次に来るものの形を示しているなら、その分かれ目はモデルカードがすでに示している場所に現れる。推論は小さいサイズでもよく通用し、記憶はそうではない。

出典: Andrej Karpathy、Hugging Face上のwebAI TwIL-8Bモデルカード。

連絡先: [email protected]

日本語版は Ai 支援を使用しているため、小さな間違いが存在する可能性があることをご了承ください。

著者

Ai-Banking-NetworkSecurity (ABN), ABN ASIAは、アカデミアに深く関わり、アメリカ、オランダ、ハンガリー、日本、韓国、シンガポール、ベトナムでの仕事経験を持つ人々によって設立されました。ABN ASIAは、学問とテクノロジーが機会と出会う場所です。最先端のソリューションと優れたソフトウェア開発サービスにより、ビジネスがレベルアップし、グローバルシーンに挑戦できるよう支援しています。私ちの取り組み: より速く。より良い。より信頼性が高くなります。ほとんどの場合、価格も安くなります。

いつでも、ITサービス、デジタルコンサルティング、既製のソフトウェアソリューション、または提案依頼書（RFP）をお探しの際は、お気軽にお問い合わせください。お問い合わせ先は[email protected]です。お客様のテクノロジーに関するニーズにお応えします。