最新の LLM は、専門家の混合アーキテクチャを使用しています

"最新の LLM のほとんどは、専門家混合アーキテクチャを使用しています。実装は非常に簡単です。この実装は、Mistral 7B にあるものと非常によく似ています。

この場合の「エキスパート」は単純なフィードフォワード ネットワークであり、トークンを適切なエキスパートにルーティングする役割を担うルーターがあります。ルーティングするには、隠れ状態から各エキスパートに関連付けられた確率にマッピングする線形層があり、それらの確率に関連するエキスパートを選択するだけです。結果として得られる隠れた状態は、それらのエキスパートの出力の加重合計にすぎません。それでおしまい！"

日本語版は Ai 支援を使用しているため、小さな間違いが存在する可能性があることをご了承ください。

著者

Ai Base Network (ABN), ABN ASIAは、アカデミアに深く関わり、アメリカ、オランダ、ハンガリー、日本、韓国、シンガポール、ベトナムでの仕事経験を持つ人々によって設立されました。ABN ASIAは、学問とテクノロジーが機会と出会う場所です。最先端のソリューションと優れたソフトウェア開発サービスにより、ビジネスがレベルアップし、グローバルシーンに挑戦できるよう支援しています。 私たちの取り組み: より速く。 より良い。 より信頼性が高くなります。 ほとんどの場合、価格も安くなります。

いつでも、ITサービス、デジタルコンサルティング、既製のソフトウェアソリューション、または提案依頼書（RFP）をお探しの際は、お気軽にお問い合わせください。お問い合わせ先は[email protected]です。お客様のテクノロジーに関するニーズにお応えします。

© ABN ASIA