Llama 3 adalah aksi publisitas yang cukup bagus untuk Meta

"Llama 3 adalah aksi publisitas yang bagus untuk Meta! Eksperimen Llama terasa seperti upaya yang terdokumentasi dengan baik untuk mengejar OpenAI dan Google dalam hal game GenAI. Sudah terbuka, jadi Meta kembali masuk kategori ""orang baik"" di mata publik!

Llama 1 adalah model terlatih mereka (https://lnkd.in/g3nGaGms). Ini dirilis pada bulan Februari 2023, dan setara dengan GPT-3 OpenAI yang dirilis pada tahun 2020. Rasanya seperti mereka sedang menguji air dan membangun landasan untuk pekerjaan di masa depan. Mereka menggunakan 1 triliun token, mekanisme perhatian yang hemat memori dan fokus pada arsitektur yang lebih kecil dibandingkan kompetitor.

Llama 2 adalah LLM mereka yang dilatih untuk mengikuti instruksi (https://lnkd.in/gPhhSYND). Model ini dirilis pada bulan Juli 2023, dan setara dengan InstructGPT OpenAI dan model asli yang digunakan oleh ChatGPT pada tahun 2022. Model ini sama dengan Llama 1 yang disempurnakan dengan pembelajaran yang diawasi dan pembelajaran penguatan. Mereka fokus pada data berkualitas tinggi untuk langkah-langkah penyesuaian dan meningkatkan langkah pra-pelatihan menjadi 2 triliun token.

Llama 3 pada dasarnya adalah model yang sama dengan 2 sebelumnya. Mereka menggunakan lebih banyak data untuk langkah pra-pelatihan (15 triliun token) dan sekali lagi berfokus pada kualitas data untuk langkah-langkah pelatihan yang berbeda. Mereka menggunakan mekanisme perhatian kueri yang dikelompokkan dan memperluas kosakata token mereka dari 32 ribu menjadi 128 ribu. Saya kira itu masuk akal, karena dengan lebih banyak data, kebutuhan untuk mengatur menjadi lebih sedikit. Kini, model-model tersebut telah disempurnakan dengan LoRA, dan mereka hadir dengan pustaka penyesuaian mereka sendiri (torchtune https://lnkd.in/gDbxHkp3) saat mereka mengembangkan Llama 3.

Meta mengejar OpenAI dan Google dengan membangun teknologi dasar mereka sendiri dalam hal pelatihan LLM dengan fokus pada model yang lebih kecil dan bersumber terbuka. Dugaan saya, ini hanyalah pemanasan untuk pekerjaan sebenarnya yang akan datang. "

Harap dicatat bahwa versi bahasa Prancis dari AI didukung dan karena itu mungkin terjadi kesalahan kecil.

Penulis

Ai Base Network (ABN), ABN ASIA didirikan oleh orang-orang dengan akar yang kuat di dunia akademis, dengan pengalaman kerja di Amerika Serikat, Belanda, Hungaria, Jepang, Korea Selatan, Singapura, dan Vietnam. ABN Asia adalah tempat di mana akademik dan teknologi bertemu dengan peluang. Dengan solusi terdepan kami dan layanan pengembangan perangkat lunak yang kompeten, kami membantu bisnis untuk meningkatkan level dan bersaing di panggung global. Komitmen kami: Lebih Cepat. Lebih Baik. Lebih handal. Dalam kebanyakan kasus: Lebih murah juga.

Jangan ragu untuk menghubungi kami jika Anda membutuhkan layanan IT, konsultasi digital, solusi perangkat lunak siap pakai, atau jika Anda ingin mengirimkan permintaan proposal (RFP). Anda dapat menghubungi kami di [email protected]. Kami siap membantu Anda dengan semua kebutuhan teknologi Anda.

© ABN ASIA