Model Pembelajaran Mesin: Metode Kompresi Model

Mengapa? Karena mereka sekarang terlalu besar.

Tidak terlalu lama yang lalu, model Machine Learning terbesar yang paling banyak orang hadapi hanya mencapai beberapa GB dalam ukuran memori. Sekarang, setiap model generatif baru yang keluar memiliki antara 1 miliar dan 1 triliun parameter! Untuk memahami skala, satu parameter float, yaitu 32 bit atau 4 byte (atau 2 byte dengan Float16), sehingga model-model baru dapat berukuran antara 4 GB hingga 4 TB dalam memori, masing-masing berjalan pada perangkat keras yang mahal. Dan selama algoritma backpropagation, model-model tersebut dapat membutuhkan sebanyak 10 kali jumlah memori ini. Karena peningkatan skala yang sangat besar, telah banyak penelitian untuk mengurangi ukuran model sambil menjaga kinerja tetap tinggi. Ada 5 teknik utama untuk mengompresi ukuran model.

Pemangkasan model (model pruning) adalah tentang menghilangkan bobot yang tidak penting dari jaringan. Permainannya adalah memahami apa yang dimaksud dengan "penting" dalam konteks itu. Pendekatan yang umum adalah mengukur dampak pada fungsi kerugian dari setiap bobot. Ini dapat dilakukan dengan mudah dengan melihat gradien dan turunan kedua dari fungsi kerugian. Cara lain untuk melakukannya adalah dengan menggunakan L1 atau L2 regularisasi dan menghilangkan bobot dengan magnitudo rendah. Menghilangkan neuron, lapisan, atau filter secara keseluruhan disebut "pemangkasan terstruktur" dan lebih efisien dalam hal kecepatan inferensi.
Kuantisasi model (model quantization) adalah tentang mengurangi presisi parameter, biasanya dengan berpindah dari float (32 bit) ke integer (8 bit). Itu 4X kompresi model. Mengkuantisasi parameter cenderung menyebabkan model menyimpang dari titik konvergensi, sehingga biasanya perlu dilakukan pelatihan tambahan dengan data pelatihan tambahan untuk menjaga kinerja model tetap tinggi. Kami menyebutnya "Pelatihan yang sadar kuantisasi". Ketika kita menghindari langkah terakhir ini, itu disebut "Kuantisasi pasca pelatihan", dan modifikasi heuristik tambahan dapat dilakukan pada bobot untuk membantu kinerja.
Dekomposisi berperingkat rendah (low-rank decomposition) berasal dari fakta bahwa matriks bobot jaringan saraf dapat diaproksimasi dengan produk matriks berdimensi rendah. Matriks N x N dapat diaproksimasi menjadi produk dari 2 matriks N x 1. Itu O(N^2) -> O(N) kompleksitas ruang yang diperoleh!
Destilasi pengetahuan (knowledge distillation) adalah tentang mentransfer pengetahuan dari satu model ke model lain, biasanya dari model besar ke model yang lebih kecil. Ketika model siswa belajar untuk menghasilkan respons output yang serupa, itu disebut destilasi berbasis respons. Ketika model siswa belajar untuk mereproduksi lapisan antara yang serupa, itu disebut destilasi berbasis fitur. Ketika model siswa belajar untuk mereproduksi interaksi antara lapisan, itu disebut destilasi berbasis relasi.
Desain model ringan (lightweight model design) adalah tentang menggunakan pengetahuan dari hasil empiris untuk merancang arsitektur yang lebih efisien. Itu mungkin salah satu metode yang paling banyak digunakan dalam penelitian LLM.

Harap dicatat bahwa versi bahasa Indonesia didukung oleh AI dan karena itu mungkin terjadi kesalahan kecil.

Penulis

Ai Base Network (ABN), ABN ASIA didirikan oleh orang-orang dengan akar yang kuat di dunia akademis, dengan pengalaman kerja di Amerika Serikat, Belanda, Hungaria, Jepang, Korea Selatan, Singapura, dan Vietnam. ABN Asia adalah tempat di mana akademik dan teknologi bertemu dengan peluang. Dengan solusi terdepan kami dan layanan pengembangan perangkat lunak yang kompeten, kami membantu bisnis untuk meningkatkan level dan bersaing di panggung global. Komitmen kami: Lebih Cepat. Lebih Baik. Lebih handal. Dalam kebanyakan kasus: Lebih murah juga.

Jangan ragu untuk menghubungi kami jika Anda membutuhkan layanan IT, konsultasi digital, solusi perangkat lunak siap pakai, atau jika Anda ingin mengirimkan permintaan proposal (RFP). Anda dapat menghubungi kami di [email protected]. Kami siap membantu Anda dengan semua kebutuhan teknologi Anda.