OpenAI baru saja merilis satu makalah tentang halusinasi AI

Ternyata, LLMs membuat hal-hal yang tidak benar bukan karena mereka "rusak."

LLMs membuat hal-hal yang tidak benar karena kita melatih mereka untuk melakukannya.

Beberapa wawasan menarik dari penelitian OpenAI:

→ Pelatihan awal memaksa kesalahan (seperti menebak ulang tahun acak) karena beberapa fakta tidak bisa dipelajari dari data.

→ Pelatihan lanjutan membuatnya semakin buruk - benchmark menghargai jawaban yang percaya diri dan menghukum "Saya tidak tahu."

→ Hasilnya? Model yang dioptimalkan untuk menjadi peserta tes yang baik, bukan pembicara kebenaran.

Dengan kata lain, halusinasi tidak misterius.

Mereka adalah hasil logis dari sistem penilaian yang menghargai tebakan daripada kejujuran.

Perbaikannya sederhana tapi radikal:

↳ Ubah evaluasi sehingga model mendapatkan kredit untuk ketidakpastian. ↳ Hukum kesalahan yang percaya diri lebih dari pengunduran diri. ↳ Menghargai kejujuran, bukan keberanian.

Intinya:

Model yang mengatakan "Saya tidak tahu" mungkin terlihat kurang akurat di peringkat hari ini, tetapi lebih dapat dipercaya di dunia nyata.

Dan ini bisa menjadi pelepasan besar berikutnya untuk AI.

Kita tidak membutuhkan model yang lebih besar. Kita hanya membutuhkan insentif yang lebih baik.

Harap dicatat bahwa versi bahasa Indonesia didukung oleh AI dan karena itu mungkin terjadi kesalahan kecil.

Penulis

Ai Base Network (ABN), ABN ASIA didirikan oleh orang-orang dengan akar yang kuat di dunia akademis, dengan pengalaman kerja di Amerika Serikat, Belanda, Hungaria, Jepang, Korea Selatan, Singapura, dan Vietnam. ABN Asia adalah tempat di mana akademik dan teknologi bertemu dengan peluang. Dengan solusi terdepan kami dan layanan pengembangan perangkat lunak yang kompeten, kami membantu bisnis untuk meningkatkan level dan bersaing di panggung global. Komitmen kami: Lebih Cepat. Lebih Baik. Lebih handal. Dalam kebanyakan kasus: Lebih murah juga.

Jangan ragu untuk menghubungi kami jika Anda membutuhkan layanan IT, konsultasi digital, solusi perangkat lunak siap pakai, atau jika Anda ingin mengirimkan permintaan proposal (RFP). Anda dapat menghubungi kami di [email protected]. Kami siap membantu Anda dengan semua kebutuhan teknologi Anda.