Điều chỉnh trong Học sâu: Trực giác Đằng sau

Quy chuẩn hóa 101

💡 Chính quy hóa trong Học sâu: Trực giác đằng sau

Định nghĩa Chính quy hóa 101:
Một mô hình hoạt động tốt trên dữ liệu huấn luyện nhưng không tốt trên dữ liệu chưa thấy. Quá khớp :)

Nhưng có gì hơn thế không? Hãy cùng tìm hiểu.

Nhớ lại người bạn ở trường học thuộc lòng mọi thứ viết trong sách hoặc giáo viên nói nhưng không làm tốt khi câu hỏi bị xoắn một chút.

Điều gì đã xảy ra?

Anh ấy chỉ học thuộc bài học mà không hiểu các khái niệm đằng sau để áp dụng vào các câu hỏi chưa thấy trước đó.

Đó là quá khớp, và để sửa điều đó, chúng ta cần chính quy hóa.

Chính quy hóa hoạt động như một giáo viên tốt, hướng dẫn học sinh tập trung vào các khái niệm cốt lõi thay vì ghi nhớ các chi tiết không liên quan.

Chính quy hóa thực chất giải quyết 3 vấn đề:

1️⃣ Quá khớp: Ngăn mô hình khớp với nhiễu hoặc chi tiết không liên quan trong dữ liệu huấn luyện.

2️⃣ Độ phức tạp của mô hình: Giảm độ phức tạp của mô hình bằng cách hạn chế khả năng của nó, đảm bảo nó không học quá nhiều.

3️⃣ Sự cân bằng giữa thiên lệch và phương sai: Đạt được sự cân bằng giữa quá ít khớp (quá đơn giản) và quá khớp (quá phức tạp).

Vậy, làm thế nào để chúng ta thực hiện chính quy hóa?
Có khá nhiều cách, thực ra.

Hãy xem những cách quan trọng nhất—và hãy thử hiểu chúng mà không cần toán học, được chứ?

1️⃣ Chính quy hóa L1 và L2 – Một cách để ngăn chặn trọng số lớn. Một thuật ngữ phạt đảm bảo trọng số lớn bị giảm.

L1: Phạt thêm vào trọng số tuyệt đối.
L2: Phạt thêm vào trọng số bình phương.

2️⃣ Dropout – Ngẫu nhiên "bỏ qua" (đặt về 0) một phần của các nơ-ron trong quá trình huấn luyện. Điều này buộc mạng lưới tránh phụ thuộc quá mức vào các nơ-ron cụ thể, thúc đẩy sự tổng quát hóa.

3️⃣ Tăng cường dữ liệu – Như đưa ra các biến thể khác nhau của câu hỏi cho người bạn đó để họ nắm bắt khái niệm tốt hơn.

4️⃣ Dừng sớm – Dừng huấn luyện trước khi mô hình bắt đầu ghi nhớ dữ liệu.

5️⃣ Chuẩn hóa Batch – Chuẩn hóa dữ liệu (trung bình = 0, phương sai = 1) tại mỗi lớp, đảm bảo tất cả các nơ-ron có cơ hội công bằng trong lớp tiếp theo.

6️⃣ Elastic Net – Một sự kết hợp của chính quy hóa L1 và L2.

TÁC GIẢ

Về ABN Asia: Ai Base Network (ABN), ABN Asia được thành lập từ năm 2012, là một công ty xuất phát từ học thuật, do những giảng viên, cựu du học sinh Hungary, Hà Lan, Nga, Đức, và Nhật Bản sáng lập. Chúng tôi chia sẻ đam mê chung và tầm nhìn vững chắc về công nghệ, mang đến sự đổi mới và chất lượng đỉnh cao cho khách hàng. Phương châm của chúng tôi là: Tốt hơn. Nhanh hơn. An toàn hơn. Trong nhiều trường hợp: Rẻ hơn.

Hãy liên hệ với chúng tôi khi Quý doanh nghiệp có các nhu cầu về dịch vụ công nghệ thông tin, tư vấn chuyển đổi số, tìm kiếm các giải pháp phần mềm phù hợp, hoặc nếu Quý doanh nghiệp có đấu thầu CNTT (RFP) để chúng tôi tham dự. Quý doanh nghiệp có thể liên hệ với chúng tôi qua địa chỉ email [email protected]. Chúng tôi sẵn lòng hỗ trợ với mọi nhu cầu công nghệ của Quý doanh nghiệp.