ラマ 3 はメタにとって非常に良い宣伝スタントでした

"ラマ 3 はメタにとって非常に良い宣伝スタントでした。 Llama の実験は、GenAI ゲームに関して OpenAI と Google に追いつくための十分に文書化された試みのように感じられます。オープンになったので、メタは世間の目には「善人」のカテゴリーに戻ってきました！

ラマ 1 は事前トレーニングされたモデル (https://lnkd.in/g3nGaGms) でした。これは 2023 年 2 月に公開され、2020 年に公開された OpenAI の GPT-3 に相当します。彼らは水をテストし、将来の作業の基礎を確立しているように感じました。彼らは 1 兆のトークン、メモリ効率の高いアテンション メカニズムを使用し、競合他社よりも小規模なアーキテクチャに焦点を当てました。

ラマ 2 は、指示に従うように訓練された LLM でした (https://lnkd.in/gPhhSYND)。これは 2023 年 7 月に公開され、OpenAI の InstructGPT と 2022 年に ChatGPT で使用されたオリジナル モデルに相当します。教師あり学習と強化学習で微調整された Llama 1 と同じモデルです。彼らは微調整ステップで高品質のデータに焦点を当て、事前トレーニングステップを 2 兆トークンに増やしました。

Llama 3 は基本的に前の 2 と同じモデルです。彼らは、事前トレーニング ステップにより多くのデータ (15 兆トークン) を使用し、さまざまなトレーニング ステップでのデータの品質に再び焦点を当てました。彼らはグループ化されたクエリ アテンション メカニズムを使用し、トークンの語彙を 32K から 128K に拡張しました。データが増えると、正規化する必要が少なくなるので、それは当然だと思います。現在、モデルは LoRA で微調整されており、Llama 3 の開発中に独自の微調整ライブラリ (torchtune https://lnkd.in/gDbxHkp3) を考案しました。

Meta は、小規模でオープンソースのモデルに焦点を当てた LLM のトレーニングに関して独自の基礎テクノロジーを確立することで、OpenAI や Google に追いつきました。私の推測では、これはこれからの本当の仕事に向けた単なるウォームアップだったのではないかと思います。 "

日本語版は Ai 支援を使用しているため、小さな間違いが存在する可能性があることをご了承ください。

著者

Ai Base Network (ABN), ABN ASIAは、アカデミアに深く関わり、アメリカ、オランダ、ハンガリー、日本、韓国、シンガポール、ベトナムでの仕事経験を持つ人々によって設立されました。ABN ASIAは、学問とテクノロジーが機会と出会う場所です。最先端のソリューションと優れたソフトウェア開発サービスにより、ビジネスがレベルアップし、グローバルシーンに挑戦できるよう支援しています。 私たちの取り組み: より速く。 より良い。 より信頼性が高くなります。 ほとんどの場合、価格も安くなります。

いつでも、ITサービス、デジタルコンサルティング、既製のソフトウェアソリューション、または提案依頼書（RFP）をお探しの際は、お気軽にお問い合わせください。お問い合わせ先は[email protected]です。お客様のテクノロジーに関するニーズにお応えします。

© ABN ASIA