Regularisasi dalam Pembelajaran Dalam: Intuisi di Balik

Regularisasi 101

💡 Regularisasi dalam Pembelajaran Dalam: Intuisi di Balik

Definisi Regularisasi 101:
Sebuah model berkinerja baik pada data pelatihan tetapi tidak terlalu baik pada data yang belum pernah dilihat. Overfitting :)

Tapi apakah ada yang lebih dari itu? Mari kita cari tahu.

Ingatlah anak laki-laki di sekolah yang menghafal semua yang tertulis di buku atau diucapkan oleh guru, tetapi tidak berkinerja baik ketika pertanyaan sedikit diubah.

Apa yang terjadi?

Dia hanya menghafal pelajaran tetapi tidak memahami konsep di baliknya untuk diterapkan pada pertanyaan yang belum pernah dilihat sebelumnya.

Itulah overfitting, dan untuk memperbaiki itu, kita perlu regularisasi.

Regularisasi berperan seperti guru yang baik, membimbing siswa untuk fokus pada konsep inti daripada menghafal detail yang tidak relevan.

Regularisasi pada dasarnya menyelesaikan 3 masalah:

1️⃣ Overfitting: Mencegah model untuk menyesuaikan diri dengan noise atau detail yang tidak relevan dalam data pelatihan.

2️⃣ Kemampuan Model: Mengurangi kompleksitas model dengan membatasi kemampuannya, memastikan model tidak terlalu banyak belajar.

3️⃣ Keseimbangan Bias-Varians: Mencapai keseimbangan antara underfitting (terlalu sederhana) dan overfitting (terlalu kompleks).

Jadi, bagaimana kita melakukan regularisasi?
Ada beberapa cara, sebenarnya.

Mari kita lihat yang paling penting - dan mari kita coba memahaminya tanpa menggunakan matematika, ya?

1️⃣ Regularisasi L1 dan L2 – Cara untuk mencegah bobot yang besar. Suatu istilah penalti memastikan bobot besar diredam.

L1: Penalti ditambahkan pada bobot absolut.
L2: Penalti ditambahkan pada bobot kuadrat.

2️⃣ Dropout – Secara acak "menghilangkan" (mengatur menjadi nol) sebagian neuron selama pelatihan. Ini memaksa jaringan untuk menghindari ketergantungan pada neuron tertentu, mempromosikan generalisasi.

3️⃣ Augmentasi Data – Seperti memberikan variasi pertanyaan yang berbeda kepada teman sehingga mereka menjadi lebih baik dalam memahami konsep.

4️⃣ Penghentian Dini – Berhenti melatih sebelum model mulai menghafal data.

5️⃣ Normalisasi Batch – Menormalisasi data (rata-rata = 0, varians = 1) pada setiap lapisan, memastikan semua neuron mendapatkan kesempatan yang adil pada lapisan berikutnya.

6️⃣ Elastic Net – Kombinasi dari regularisasi L1 dan L2.

Harap dicatat bahwa versi bahasa Indonesia didukung oleh AI dan karena itu mungkin terjadi kesalahan kecil.

Penulis

Ai Base Network (ABN), ABN ASIA didirikan oleh orang-orang dengan akar yang kuat di dunia akademis, dengan pengalaman kerja di Amerika Serikat, Belanda, Hungaria, Jepang, Korea Selatan, Singapura, dan Vietnam. ABN Asia adalah tempat di mana akademik dan teknologi bertemu dengan peluang. Dengan solusi terdepan kami dan layanan pengembangan perangkat lunak yang kompeten, kami membantu bisnis untuk meningkatkan level dan bersaing di panggung global. Komitmen kami: Lebih Cepat. Lebih Baik. Lebih handal. Dalam kebanyakan kasus: Lebih murah juga.

Jangan ragu untuk menghubungi kami jika Anda membutuhkan layanan IT, konsultasi digital, solusi perangkat lunak siap pakai, atau jika Anda ingin mengirimkan permintaan proposal (RFP). Anda dapat menghubungi kami di [email protected]. Kami siap membantu Anda dengan semua kebutuhan teknologi Anda.