Bagaimana LLM menghasilkan teks?

Tidaklah suatu tugas yang sepele.

Menghasilkan teks bukanlah tugas yang sepele! LLM dioptimalkan untuk memprediksi kemungkinan token berikutnya, tetapi bagaimana kita menghasilkan teks dengan itu?

Pendekatan naif adalah menggunakan vektor kemungkinan yang dihasilkan oleh model, memilih kata dengan kemungkinan tertinggi, dan autoregres. Ini adalah pendekatan serakah, tetapi ini cenderung menghasilkan kalimat yang berulang dan degeneratif ketika terlalu panjang. Pendekatan lain adalah menggunakan kemungkinan yang dihasilkan oleh model dan melakukan sampling kata berdasarkan kemungkinan tersebut. Biasanya, kita menggunakan parameter suhu untuk menyesuaikan tingkat keacakan proses ini. Ini memungkinkan menghasilkan kalimat yang kurang berulang dan lebih kreatif.

Tapi dua teknik tersebut memiliki masalah. Ketika kita menghasilkan kalimat, kita ingin memaksimalkan kemungkinan seluruh urutan keluaran dan tidak hanya token berikutnya:

P(Urutan keluaran | Prompt)

Untungnya, kita dapat mengekspresikan kemungkinan ini sebagai produk dari kemungkinan untuk memprediksi token berikutnya:

P(token 1, .., token N | Prompt) = P(token 1| Prompt) x ... P(token N | Prompt, token 1, ..., token N - 1)

Tapi memecahkan masalah ini secara eksak adalah masalah NP-sulit. Jadi, sebagai gantinya, kita dapat memperkirakan masalah ini dengan memilih k calon token pada setiap iterasi, mengujinya, dan menyimpan k urutan yang memaksimalkan kemungkinan seluruh urutan. Di akhir, kita hanya memilih urutan dengan kemungkinan tertinggi. Ini disebut pencarian balok dan dapat dicampur dengan pendekatan serakah dan multinomial.

Pendekatan lain adalah pencarian kontrastif, di mana kita mempertimbangkan metrik tambahan seperti kelancaran atau keragaman. Pada setiap iterasi, kita memilih calon token, menghukum kemungkinan dengan metrik kesamaan token yang sebelumnya dihasilkan, dan memilih token yang memaksimalkan skor baru.

Harap dicatat bahwa versi bahasa Indonesia didukung oleh AI dan karena itu mungkin terjadi kesalahan kecil.

Penulis

Ai Base Network (ABN), ABN ASIA didirikan oleh orang-orang dengan akar yang kuat di dunia akademis, dengan pengalaman kerja di Amerika Serikat, Belanda, Hungaria, Jepang, Korea Selatan, Singapura, dan Vietnam. ABN Asia adalah tempat di mana akademik dan teknologi bertemu dengan peluang. Dengan solusi terdepan kami dan layanan pengembangan perangkat lunak yang kompeten, kami membantu bisnis untuk meningkatkan level dan bersaing di panggung global. Komitmen kami: Lebih Cepat. Lebih Baik. Lebih handal. Dalam kebanyakan kasus: Lebih murah juga.

Jangan ragu untuk menghubungi kami jika Anda membutuhkan layanan IT, konsultasi digital, solusi perangkat lunak siap pakai, atau jika Anda ingin mengirimkan permintaan proposal (RFP). Anda dapat menghubungi kami di [email protected]. Kami siap membantu Anda dengan semua kebutuhan teknologi Anda.