LLM: Perusahaan beralih ke model yang lebih kecil

77% penggunaan AI perusahaan menggunakan model yang berukuran kecil, kurang dari 13 miliar parameter.

Databricks, dalam laporan tahunan State of Data + AI, menerbitkan survei ini yang di antara temuan menarik lainnya menunjukkan bahwa model besar, yaitu model dengan 100 miliar parameter atau lebih, sekarang mewakili sekitar 15% implementasi.

Pada bulan Agustus, kami bertanya kepada pembeli perusahaan Apa yang Telah Dilakukan GPU Anda untuk Anda Hari Ini? Mereka mengekspresikan kekhawatiran tentang ROI penggunaan beberapa model yang lebih besar, terutama dalam aplikasi produksi.

Harga dari penyedia inferensi populer menunjukkan kenaikan harga secara geometris sebagai fungsi parameter untuk model.

Tapi ada alasan lain selain biaya untuk menggunakan model yang lebih kecil.

Pertama, kinerja mereka telah meningkat secara signifikan dengan beberapa model yang lebih kecil mendekati kesuksesan model besar. Perbedaan biaya berarti model yang lebih kecil dapat dijalankan beberapa kali untuk memverifikasi seperti AI Mechanical Turk.

Kedua, latensi model yang lebih kecil adalah setengah dari model berukuran sedang dan 70% lebih rendah dari model mega.

Latensi yang lebih tinggi adalah pengalaman pengguna yang lebih buruk. Pengguna tidak suka menunggu.

Model yang lebih kecil mewakili inovasi signifikan bagi perusahaan di mana mereka dapat memanfaatkan kinerja yang serupa dengan dua pesanan besarnya, biaya yang lebih rendah, dan setengah dari latensi.

Tidak heran bahwa pembangun memandang mereka sebagai kecil tapi tangguh.

Catatan: Saya telah mengabstraksi dimensi tambahan dari model campuran ahli untuk membuat poin lebih jelas.

Ada cara yang berbeda untuk mengukur latensi, apakah itu waktu ke token pertama atau latensi antar-token.

Harap dicatat bahwa versi bahasa Indonesia didukung oleh AI dan karena itu mungkin terjadi kesalahan kecil.

Penulis

Ai Base Network (ABN), ABN ASIA didirikan oleh orang-orang dengan akar yang kuat di dunia akademis, dengan pengalaman kerja di Amerika Serikat, Belanda, Hungaria, Jepang, Korea Selatan, Singapura, dan Vietnam. ABN Asia adalah tempat di mana akademik dan teknologi bertemu dengan peluang. Dengan solusi terdepan kami dan layanan pengembangan perangkat lunak yang kompeten, kami membantu bisnis untuk meningkatkan level dan bersaing di panggung global. Komitmen kami: Lebih Cepat. Lebih Baik. Lebih handal. Dalam kebanyakan kasus: Lebih murah juga.

Jangan ragu untuk menghubungi kami jika Anda membutuhkan layanan IT, konsultasi digital, solusi perangkat lunak siap pakai, atau jika Anda ingin mengirimkan permintaan proposal (RFP). Anda dapat menghubungi kami di [email protected]. Kami siap membantu Anda dengan semua kebutuhan teknologi Anda.