Menggunakan Ai, bagaimana cara menghemat biaya ketika teks terlalu panjang?

"Salah satu triknya adalah dengan menggunakan LangChain dengan cerdik. LangChain dapat dirancang untuk meringkas teks dengan panjang berapa pun. Untuk meringkas teks dengan LLM, ada beberapa strategi.

Jika seluruh teks pas di jendela konteks, Anda cukup memasukkan data mentah dan mendapatkan hasilnya. LangChain menyebut strategi itu sebagai tipe rantai ""barang"". Seringkali, jumlah token yang terdapat dalam teks lebih besar dari kapasitas maksimum LLM. Strategi umumnya adalah memecah data menjadi beberapa bagian, meringkas setiap bagian, dan meringkas ringkasan yang digabungkan dalam langkah ""gabungan"" terakhir. LangChain menyebut strategi ini sebagai ""pengurangan peta"".

Strategi lainnya adalah memulai ringkasan dengan bagian pertama dan menyempurnakannya sedikit demi sedikit dengan setiap bagian berikutnya. LangChain menyebut ini sebagai ""perbaiki"". Misalnya, berikut adalah template prompt yang digunakan oleh LangChain untuk langkah penyempurnaan:

Tugas Anda adalah menghasilkan ringkasan akhir.

Kami telah memberikan ringkasan yang ada hingga titik tertentu: existing_answer

Kami memiliki kesempatan untuk menyempurnakan ringkasan yang ada (hanya jika diperlukan) dengan lebih banyak konteks di bawah ini.

teks

Mengingat konteks baru, perbaiki ringkasan aslinya

Jika konteksnya tidak berguna, kembalikan ringkasan aslinya. "

Harap dicatat bahwa versi bahasa Indonesia didukung oleh AI dan karena itu mungkin terjadi kesalahan kecil.

Penulis

Ai Base Network (ABN), ABN ASIA didirikan oleh orang-orang dengan akar yang kuat di dunia akademis, dengan pengalaman kerja di Amerika Serikat, Belanda, Hungaria, Jepang, Korea Selatan, Singapura, dan Vietnam. ABN Asia adalah tempat di mana akademik dan teknologi bertemu dengan peluang. Dengan solusi terdepan kami dan layanan pengembangan perangkat lunak yang kompeten, kami membantu bisnis untuk meningkatkan level dan bersaing di panggung global. Komitmen kami: Lebih Cepat. Lebih Baik. Lebih handal. Dalam kebanyakan kasus: Lebih murah juga.

Jangan ragu untuk menghubungi kami jika Anda membutuhkan layanan IT, konsultasi digital, solusi perangkat lunak siap pakai, atau jika Anda ingin mengirimkan permintaan proposal (RFP). Anda dapat menghubungi kami di [email protected]. Kami siap membantu Anda dengan semua kebutuhan teknologi Anda.