Tahukah Anda bahwa LLama 2 atau 3 mungkin merupakan salah satu pilihan terbaik jika Anda memerlukan jendela konteks besar dengan model sumber terbuka?

"Tahukah Anda bahwa LLama 2 atau 3 mungkin merupakan salah satu pilihan terbaik jika Anda memerlukan jendela konteks besar dengan model sumber terbuka? Faktanya, model apa pun yang menggunakan penyematan posisi RoPE adalah pilihan yang bagus!

8192 token, itu sekitar 6000 kata. Lumayan tapi itu membatasi kemungkinan penerapannya. Arsitektur Transformer yang khas terdiri dari Embeddings untuk menyandikan input teks, beberapa blok transformator, dan kepala prediksi khusus untuk tugas pembelajaran yang digunakan LLM. Untuk mengkodekan teks, kami menggunakan matriks penyematan teks T yang memiliki ukuran kosakata token dan penyematan posisi P yang mengkodekan posisi token dalam urutan input. Ukuran penyematan posisi tersebut menentukan ukuran konteks. Penyematan tersebut dapat dipelajari, atau dapat berupa fungsi sin sederhana dari indeks posisi. Biasanya mereka dijumlahkan T + P sedemikian rupa sehingga kata yang sama dikodekan secara berbeda pada posisi i dan j.

Hal hebat tentang LLama adalah ia menggunakan Rotary Positional Embeddings (RoPE) dibandingkan dengan pengkodean fungsi sin pada umumnya. Setiap lapisan Perhatian dimodifikasi menggunakan penyematan tersebut dan memastikan perhatian yang dihitung antara token masukan hanya bergantung pada jarak antara token tersebut. Jika token T1 berada pada posisi i dan token T2 pada posisi j, maka perhatian A(T1, T2) = f(j - i) merupakan fungsi dari j - i. Perhatiannya tidak bergantung pada lokasi token tertentu tetapi pada posisi relatifnya.

Teknik yang mereka gunakan di Meta untuk memperluas jendela konteks adalah dengan melakukan interpolasi pada posisi non-integer. Pada dasarnya, jika ukuran jendela asli adalah L, Anda dapat memperluasnya ke L' (dengan L' > L) dengan mengubah skala posisi bilangan bulat

i' = i * L / L'

Sebagai contoh, jika Anda ingin memiliki input teks sebanyak 16.384 token (jadi 4x ukuran jendela LLama 2) menjadi LLama 2, Anda hanya perlu membagi setiap posisi bilangan bulat dengan 4: i' = i / 4. Untuk menjadi jelas, jika Anda melihat implementasi LLama 2 yang tersedia di GitHub (baris 101 di model.py hari ini https://lnkd.in/exqcTkDD), Anda hanya perlu mengganti baris kode berikut

t = obor.arange(akhir, perangkat=freqs.device) oleh t = obor.arange(akhir, perangkat=freqs.device) / 4

Seberapa sederhanakah itu? Karena model tidak dilatih untuk penyematan posisi tersebut, Anda perlu sedikit menyempurnakan model untuk menyesuaikannya dengan jendela konteks dan penyematan posisi baru tersebut. Ketika kami berpikir bahwa LLama 2 kemungkinan besar akan digunakan untuk menyempurnakan data pribadi, itulah hal yang paling penting untuk dapat secara dinamis menyesuaikan jendela konteks dengan kebutuhan kami saat kami menyempurnakannya.

Anda dapat melihat caranya di sini: https://lnkd.in/dCYuwdHz. Mereka mampu memperluas jendela konteks LLama sebanyak 16 kali sambil menjaga performa pada level yang sama!"

Harap dicatat bahwa versi bahasa Prancis dari AI didukung dan karena itu mungkin terjadi kesalahan kecil.

Penulis

Ai Base Network (ABN), ABN ASIA didirikan oleh orang-orang dengan akar yang kuat di dunia akademis, dengan pengalaman kerja di Amerika Serikat, Belanda, Hungaria, Jepang, Korea Selatan, Singapura, dan Vietnam. ABN Asia adalah tempat di mana akademik dan teknologi bertemu dengan peluang. Dengan solusi terdepan kami dan layanan pengembangan perangkat lunak yang kompeten, kami membantu bisnis untuk meningkatkan level dan bersaing di panggung global. Komitmen kami: Lebih Cepat. Lebih Baik. Lebih handal. Dalam kebanyakan kasus: Lebih murah juga.

Jangan ragu untuk menghubungi kami jika Anda membutuhkan layanan IT, konsultasi digital, solusi perangkat lunak siap pakai, atau jika Anda ingin mengirimkan permintaan proposal (RFP). Anda dapat menghubungi kami di [email protected]. Kami siap membantu Anda dengan semua kebutuhan teknologi Anda.

© ABN ASIA