LLM：企業はより小規模なモデルに移行しつつある

エンタープライズのAI利用の77％は、13億パラメータ未満の小規模モデルを使用しています。

Databricksは、年次の「データ＋AIの現状」レポートで、この調査を発表しました。この調査では、他の興味深い結果とともに、100億パラメータ以上のモデルが大規模なモデルを占める割合が約15％に達したことが示されました。

8月に、企業の購入者に「GPUは今日あなたのために何をしたか？」と質問しました。彼らは、特に本番環境で使用する際に、より大きなモデルを使用することのROIに懸念を表明しました。

人気のある推論プロバイダーの価格設定は、パラメータ数の関数として価格が幾何級数的に増加することを示しています。

しかし、大きなモデルを使用しない理由は、費用以外にもあります。

まず、大きなモデルに近い成功を収める小さいモデルもあるため、パフォーマンスが大幅に改善しました。コストの差は、AIメカニカルタークのように、複数回実行して検証することができることを意味します。

2つ目に、小さいモデルの待機時間は、サイズが中くらいのモデルよりも半分で、大きなモデルよりも70％短くなります。

待機時間が長いと、ユーザーの体験が劣ります。ユーザーは待つことを嫌がります。

小さいモデルは、2桁のオーダーでコストが少なく、待機時間が半分の場合に、同等のパフォーマンスを提供できるため、企業にとって重要な革新です。

だから、開発者は小さいモデルを「小さいが強い」と見なしているのです。

注：より明確にするために、専門家モデルを混合する別の次元を抽象化しました。

待機時間を測定する方法は、最初のトークンまでの時間か、トークン間の待機時間か、などいくつかあります。

日本語版は Ai 支援を使用しているため、小さな間違いが存在する可能性があることをご了承ください。

著者

Ai Base Network (ABN), ABN ASIAは、アカデミアに深く関わり、アメリカ、オランダ、ハンガリー、日本、韓国、シンガポール、ベトナムでの仕事経験を持つ人々によって設立されました。ABN ASIAは、学問とテクノロジーが機会と出会う場所です。最先端のソリューションと優れたソフトウェア開発サービスにより、ビジネスがレベルアップし、グローバルシーンに挑戦できるよう支援しています。私たちの取り組み: より速く。より良い。より信頼性が高くなります。ほとんどの場合、価格も安くなります。

いつでも、ITサービス、デジタルコンサルティング、既製のソフトウェアソリューション、または提案依頼書（RFP）をお探しの際は、お気軽にお問い合わせください。お問い合わせ先は[email protected]です。お客様のテクノロジーに関するニーズにお応えします。