Peringkat Chatbot: Tugas Berbeda, Pemenang Berbeda

Tidak banyak yang tahu bahwa Chatbot Arena menerbitkan peringkat berdasarkan kategori untuk prompt seperti Matematika, Coding, atau Creative Writing serta penyesuaian gaya.

Artinya kita bisa melihat performa 'inti' model untuk tugas-tugas tertentu.

Saya tertarik untuk mengeksplorasi apakah laboratorium tertentu cenderung dihargai terlalu rendah atau terlalu tinggi oleh peringkat 'Secara Keseluruhan' untuk berbagai tugas. Hasilnya jujur tidak seperti yang saya harapkan:

Model OpenAI sebagian besar dihargai terlalu rendah (artinya mereka lebih kuat jika Anda melihat peringkat individu)
xAI, Google, Meta, 01 (laboratorium, bukan model), Cohere, Nvidia semuanya dihargai terlalu tinggi
DeepSeek, Mistral, Alibaba (model Qwen) dihargai terlalu rendah
Anthropic lebih bervariasi - peringkat terlalu tinggi untuk penulisan kreatif cukup menarik

Sebagai saran, jika Anda ingin melihat model-model terbaik, saya sarankan melihat 'Sulit dengan Kontrol Gaya' - di mana Sonnet 3.6, o1-preview, dan Google-Exp-1121 berada di peringkat pertama bersama - ini sesuai dengan intuisi saya tentang model-model terbaik dengan lebih baik.

Harap dicatat bahwa versi bahasa Indonesia didukung oleh AI dan karena itu mungkin terjadi kesalahan kecil.

Penulis

Ai Base Network (ABN), ABN ASIA didirikan oleh orang-orang dengan akar yang kuat di dunia akademis, dengan pengalaman kerja di Amerika Serikat, Belanda, Hungaria, Jepang, Korea Selatan, Singapura, dan Vietnam. ABN Asia adalah tempat di mana akademik dan teknologi bertemu dengan peluang. Dengan solusi terdepan kami dan layanan pengembangan perangkat lunak yang kompeten, kami membantu bisnis untuk meningkatkan level dan bersaing di panggung global. Komitmen kami: Lebih Cepat. Lebih Baik. Lebih handal. Dalam kebanyakan kasus: Lebih murah juga.

Jangan ragu untuk menghubungi kami jika Anda membutuhkan layanan IT, konsultasi digital, solusi perangkat lunak siap pakai, atau jika Anda ingin mengirimkan permintaan proposal (RFP). Anda dapat menghubungi kami di [email protected]. Kami siap membantu Anda dengan semua kebutuhan teknologi Anda.