精度を落とさずに LLM レイヤーの 40% を削除する新しい方法

研究者らは、精度を落とさずに LLM 層の 40% を削除する新しい方法を開発しました。

これにより、モデルがはるかに安価になり、より速く使用できるようになります。

この手法は、プルーニング、量子化、PEFT を組み合わせたもので、さまざまなオープンソース モデルにわたってテストされています。

モデルの各ファミリーには、精度が低下する前に削除できる最大レイヤー数がありました。

• Mistral - 30%

• Llama 70B - 40%

• Llama 13B - 50%

日本語版は Ai 支援を使用しているため、小さな間違いが存在する可能性があることをご了承ください。

著者

Ai Base Network (ABN), ABN ASIAは、アカデミアに深く関わり、アメリカ、オランダ、ハンガリー、日本、韓国、シンガポール、ベトナムでの仕事経験を持つ人々によって設立されました。ABN ASIAは、学問とテクノロジーが機会と出会う場所です。最先端のソリューションと優れたソフトウェア開発サービスにより、ビジネスがレベルアップし、グローバルシーンに挑戦できるよう支援しています。 私たちの取り組み: より速く。 より良い。 より信頼性が高くなります。 ほとんどの場合、価格も安くなります。

いつでも、ITサービス、デジタルコンサルティング、既製のソフトウェアソリューション、または提案依頼書（RFP）をお探しの際は、お気軽にお問い合わせください。お問い合わせ先は[email protected]です。お客様のテクノロジーに関するニーズにお応えします。

© ABN ASIA