Llama-4は期待を裏切らない！

デプロイの容易さが、OSSの機能としてはサイズよりも重要になった。Llama 4 Scoutが単一のH100で動作することを強調しており、Llama-3-401Bは強力だったが、結局は採用率が低かった。Mixture of ExpertはOSS戦略の良い進め方である。
MetaPという新しい手法が、トレーニングのハイパーパラメータを賢い方法で調整する。詳細は少ないが、MetaのオープンソースフレームワークであるAxのベイジアン最適化に近いものだと思われる。Axは、限定された試行予算で適応的な実験（A/Bテストなど）を実行する。
トレーニング後の戦略は、SFT/DPOを低くし、RLを高くすることである。SFTはモデルを過度に制約し、探索を減らす可能性があるためである。
以前のモデルチェックポイントを、後の自己の批評家として使用できる。例えば、モデルは次のイテレーションに対して簡単なプロンプトをフィルタリングし、トレーニングするにつれてフィルタリングが改善される。
Llama 4 Behemothは、FP8、32KのGPU、30Tのトークンでトレーニングされた。小さいモデルに対しては50%だったSFTデータの95%を削減する必要がある。基本的に、トレーニングデータは大きなモデルに対してあまりにも簡単である。
10Mのコンテキストを可能にするためのコツは、かなりシンプルである：（1）毎回のアテンションレイヤーから位置埋め込みを削除する。これは、NoPE（No Positional Embedding）を導入した論文から来ている、面白い名前だ；（2）コンテキストのサイズに応じてソフトマックスアテンションを調整する。
Grokは現在、LLMの社会的偏見に対するSOTA標準である。引用：「Llama 4は、Llama 3よりも大きく、Grokと比較可能な」政治的傾向と回答を拒否することについて優れている。
チームに、もう一つの素晴らしいリリースを祝して！

日本語版は Ai 支援を使用しているため、小さな間違いが存在する可能性があることをご了承ください。

著者

Ai Base Network (ABN), ABN ASIAは、アカデミアに深く関わり、アメリカ、オランダ、ハンガリー、日本、韓国、シンガポール、ベトナムでの仕事経験を持つ人々によって設立されました。ABN ASIAは、学問とテクノロジーが機会と出会う場所です。最先端のソリューションと優れたソフトウェア開発サービスにより、ビジネスがレベルアップし、グローバルシーンに挑戦できるよう支援しています。私ちの取り組み: より速く。より良い。より信頼性が高くなります。ほとんどの場合、価格も安くなります。

いつでも、ITサービス、デジタルコンサルティング、既製のソフトウェアソリューション、または提案依頼書（RFP）をお探しの際は、お気軽にお問い合わせください。お問い合わせ先は[email protected]です。お客様のテクノロジーに関するニーズにお応えします。