DeepSeekとKimi：なぜ彼らはあまりにも優秀に動作するのか

彼らがあまりにうまく速く動作する理由は何ですか

今日のビンゴカードには、第2 の論文が大量のRLフライホイールの秘密とマルチモーダルなo1スタイルの推論を公開するというものは載っていませんでした。Kimi（別のスタートアップ）とDeepSeekの論文は、驚くほど類似した発見に収束していた：

MCTSのような複雑なツリーサーチは必要ない。単に思考トレースを線形化し、従来の自回帰予測を行えばよい；モデルを別途コピーする必要がある価値関数は必要ない；密な報酬モデリングは必要ない。可能な限り、真値、つまり最終結果に頼る。

違い：

DeepSeekはAlphaZeroアプローチを採用 - 人間の入力なしで、純粋にRLを通じてブートストラップする（「コールドスタート」）。KimiはAlphaGo-Masterアプローチを採用：軽量SFTを使用して、プロンプトエンジニアリングされたCoTトレースを通じてウォームアップする。 DeepSeekの重みはMITライセンス（思想的リーダーシップ！）；Kimiはまだモデルを公開していない。 Kimiは、MathVistaなどのベンチマークで強力なマルチモーダル性能（！）を示している。これには、幾何学の視覚的な理解、IQテストなどが必要である。 Kimiの論文には、システム設計に関する詳細が非常に多く含まれている：RLインフラストラクチャ、ハイブリッドクラスター、コードサンドボックス、並列性戦略；および学習に関する詳細：長いコンテキスト、CoT圧縮、カリキュラム、サンプリング戦略、テストケースの生成など。

日本語版は Ai 支援を使用しているため、小さな間違いが存在する可能性があることをご了承ください。

著者

Ai Base Network (ABN), ABN ASIAは、アカデミアに深く関わり、アメリカ、オランダ、ハンガリー、日本、韓国、シンガポール、ベトナムでの仕事経験を持つ人々によって設立されました。ABN ASIAは、学問とテクノロジーが機会と出会う場所です。最先端のソリューションと優れたソフトウェア開発サービスにより、ビジネスがレベルアップし、グローバルシーンに挑戦できるよう支援しています。私ちの取り組み: より速く。より良い。より信頼性が高くなります。ほとんどの場合、価格も安くなります。

いつでも、ITサービス、デジタルコンサルティング、既製のソフトウェアソリューション、または提案依頼書（RFP）をお探しの際は、お気軽にお問い合わせください。お問い合わせ先は[email protected]です。お客様のテクノロジーに関するニーズにお応えします。