AIトレーニングの限界

AIトレーニングの限界 —— 「成長するAI」の開発競争

現在、AIトレーニングには2つの大きな議論があり、それらは2つの非常に異なる未来を示唆している：

現在のアプローチ

LLM（大規模言語モデル）がトレーニングされた後、その「脳」はほぼ固定される。新しい知識を追加することは非常に限られている；強化学習（RL）などのテクノロジーはわずかな部分しか修正できない。如果モデルをより賢くしたい場合は、最初から再トレーニングする必要がある。

5歳の子供を「創造」したと想像してみて。数年後、10歳の子供が欲しい？新しい子供を作るか、借りる必要がある。15歳の子供が欲しい？同じことを繰り返す。

明らかに、それは非効率的だ。私たちが本当に欲しいのは、5歳の子供を作り、学び、成長し、自然に10歳、15歳になることを許すことだ。誰もが、古い子供が古くなっただけで新しい子供を作り続けることはしたくない。

理想的なアプローチ

多くのトップレベルの研究所は、この方向性を探索している。

目標は、強力なベースモデルを1度トレーニングし、世界にリリースすることである。モデルは運用中に継続的に学習し、改善し、認知能力をアップグレードする。

時折、モデルにインクリメンタル・トレーニングを直接適用し、完全に新しいモデルに置き換えるのではなく、継続的に学習させる。つまり、「AIの赤ちゃん」を創り、成長させる —— 1年ごとに新しいものを作り、古いものを捨てるのではなく。

現在の状況

すべての商用AI企業はまだアプローチ（1）を使用している：1年ごとに新しいモデルを生産し、前のものを廃止する。まだ最適化する余地はあるが、成長の潜在性は数年以内に頭打ちになる。

いくつかの信頼できる研究所はアプローチ（2）を追求しているが、まだブレークスルーは出ていない —— ただし、この探索に大量の資金が流れ込んでいる。

もし、この新しいアプローチが成功すれば、トレーニングのコストは大幅に低下する可能性がある。インクリメンタル・トレーニングはフル・リトレーニングよりもはるかに安価であり、モデルが継続的に知能を蓄積できるようにするため、毎回最初からやり直す必要がなくなる。

次のAIのフロンティアは、「より大きなモデル」だけではない。「人間のように」学習できるモデル —— 継続的に、リセットせず、毎年最初からやり直す必要がない —— である。

スティーブン・グエン著

日本語版は Ai 支援を使用しているため、小さな間違いが存在する可能性があることをご了承ください。

著者

Ai Base Network (ABN), ABN ASIAは、アカデミアに深く関わり、アメリカ、オランダ、ハンガリー、日本、韓国、シンガポール、ベトナムでの仕事経験を持つ人々によって設立されました。ABN ASIAは、学問とテクノロジーが機会と出会う場所です。最先端のソリューションと優れたソフトウェア開発サービスにより、ビジネスがレベルアップし、グローバルシーンに挑戦できるよう支援しています。私ちの取り組み: より速く。より良い。より信頼性が高くなります。ほとんどの場合、価格も安くなります。

いつでも、ITサービス、デジタルコンサルティング、既製のソフトウェアソリューション、または提案依頼書（RFP）をお探しの際は、お気軽にお問い合わせください。お問い合わせ先は[email protected]です。お客様のテクノロジーに関するニーズにお応えします。