LLama 3.1 - mengapa harga berbeda 9x?

"Llama-3.1 405b telah dirilis sekitar satu hari dan kami melihat perbedaan harga yang sangat besar (sejauh ini 9x lebih mahal) - antara $2,7 per juta token, hingga$ 14 per juta token.

Catatan: ini adalah bagan yang diperbarui untuk mengoreksi harga IBM, yang sebelumnya menunjukkan masukan $35, namun kenyataannya masukan$ 5 dan keluaran $35.

Perusahaan seperti Azure adalah yang paling menarik, karena mereka adalah penyedia terbesar yang terdaftar - tidak ada harga yang dapat saya temukan untuk AWS atau Google Vertex, jadi jika Azure adalah tolok ukur yang tepat untuk dilihat, harganya berkisar pada harga GPT-4o. .

Untuk konteks diskusi, beberapa model penetapan harga kepemilikan:

GPT-4o: masukan $5 / keluaran$ 15 juta
GPT-4o-Mini: masukan $0,15 / keluaran$ 0,6
Claude Soneta 3.5: masukan $3 / keluaran$ 15

Untuk menghitung rata-rata, saya mengasumsikan bobot input 80% dan output 20%.

Perhatikan bahwa tidak semua penyedia mengungkapkan apakah mereka membatasi model dengan cara apa pun - misalnya. terkadang penyedia dapat membatasi panjang konteks dan alih-alih 128k asli, Anda bisa mendapatkan 32k. Mungkin saja ada yang terkuantisasi, tapi saya belum melihat hal itu disebutkan secara eksplisit. Ini juga tidak memperhitungkan batasan kecepatan atau kecepatan - faktor penting lainnya."

Harap dicatat bahwa versi bahasa Indonesia didukung oleh AI dan karena itu mungkin terjadi kesalahan kecil.

Penulis

Ai Base Network (ABN), ABN ASIA didirikan oleh orang-orang dengan akar yang kuat di dunia akademis, dengan pengalaman kerja di Amerika Serikat, Belanda, Hungaria, Jepang, Korea Selatan, Singapura, dan Vietnam. ABN Asia adalah tempat di mana akademik dan teknologi bertemu dengan peluang. Dengan solusi terdepan kami dan layanan pengembangan perangkat lunak yang kompeten, kami membantu bisnis untuk meningkatkan level dan bersaing di panggung global. Komitmen kami: Lebih Cepat. Lebih Baik. Lebih handal. Dalam kebanyakan kasus: Lebih murah juga.

Jangan ragu untuk menghubungi kami jika Anda membutuhkan layanan IT, konsultasi digital, solusi perangkat lunak siap pakai, atau jika Anda ingin mengirimkan permintaan proposal (RFP). Anda dapat menghubungi kami di [email protected]. Kami siap membantu Anda dengan semua kebutuhan teknologi Anda.