Chúng ta có cần huấn luyện một mô hình để hiểu nó sẽ tốt như thế nào không?

Các khái niệm rất đơn giản: đặc trưng hóa siêu dữ liệu học tập, huấn luyện một mô hình để dự đoán các chỉ số hiệu suất với những đặc trưng đó, và sử dụng siêu mô hình đó để tìm kiếm không gian tối ưu hóa khi điều chỉnh một mô hình khác.

Chúng ta có cần huấn luyện một mô hình để hiểu nó sẽ tốt như thế nào không? Chẳng lẽ chúng ta không thể "đoán" sức mạnh dự đoán tiềm năng của nó chỉ dựa trên kiến trúc hoặc các tham số huấn luyện? Đó là ý tưởng đằng sau Học Siêu Dữ Liệu (Meta-Learning): học các mẫu mà làm cho một mô hình tốt hơn mô hình khác cho một nhiệm vụ học tập nào đó!

Các khái niệm rất đơn giản: đặc trưng hóa siêu dữ liệu học tập, huấn luyện một mô hình để dự đoán các chỉ số hiệu suất với những đặc trưng đó, và sử dụng siêu mô hình đó để tìm kiếm không gian tối ưu hóa khi điều chỉnh một mô hình khác.

Đặc trưng hóa siêu dữ liệu học tập có nghĩa là chúng ta tạo ra các đặc trưng từ các thiết lập huấn luyện. Chúng ta có thể nắm bắt kiến trúc của một mạng dưới dạng một vector đặc trưng mã hóa một-nóng. Chúng ta có thể nắm bắt các giá trị siêu tham số khác nhau và các tham số huấn luyện, chẳng hạn như số lượng epochs hoặc phần cứng (CPU / GPT). Chúng ta có thể mở rộng không gian siêu đặc trưng đến tập dữ liệu được sử dụng để huấn luyện. Ví dụ, chúng ta có thể bao gồm một biểu diễn mã hóa một-nóng của các đặc trưng được sử dụng và số lượng mẫu đã được sử dụng (điều này sẽ cho phép bạn thực hiện lựa chọn đặc trưng nữa). Chúng ta có thể nắm bắt bất cứ điều gì có thể ảnh hưởng đến việc học và các chỉ số hiệu suất kết quả. Càng bao gồm nhiều siêu đặc trưng, không gian bạn có thể tối ưu hóa càng lớn, nhưng cũng càng khó để học đúng biến mục tiêu.

Bây giờ bạn có thể đặc trưng hóa các thí nghiệm huấn luyện, bạn có thể huấn luyện một siêu học viên để học mối quan hệ giữa các tham số huấn luyện và một chỉ số hiệu suất. Vì bạn có khả năng có rất ít mẫu, siêu học viên của bạn nên là một mô hình đơn giản như hồi quy tuyến tính hoặc một mạng nơ-ron nông.

Bây giờ bạn có một mô hình hiểu mối quan hệ giữa siêu dữ liệu học tập và các chỉ số hiệu suất, bạn có thể tìm kiếm siêu dữ liệu học tập tối đa hóa chỉ số hiệu suất. Vì bạn có một mô hình, bạn có thể đánh giá hàng tỷ siêu dữ liệu học tập khác nhau trong vài giây và nhanh chóng hội tụ đến các siêu đặc trưng tối ưu. Cách tiếp cận điển hình là sử dụng Học Tăng Cường hoặc tinh chỉnh có giám sát. Tinh chỉnh có nghĩa là nếu bạn có dữ liệu huấn luyện cụ thể hoặc nếu bạn muốn tập trung vào một phần của không gian tìm kiếm, bạn có thể huấn luyện một vài mô hình mới trên dữ liệu đó và nhận được các chỉ số hiệu suất kết quả. Điều này sẽ cho phép bạn tinh chỉnh siêu học viên để có một tìm kiếm tối ưu hóa tối ưu hơn.

TÁC GIẢ

Về ABN Asia: AiUTOMATING PEOPLE, ABN Asia được thành lập từ năm 2012, là một công ty xuất phát từ học thuật, do những giảng viên, cựu du học sinh Hungary, Hà Lan, Nga, Đức, và Nhật Bản sáng lập. Chúng tôi chia sẻ đam mê chung và tầm nhìn vững chắc về công nghệ, mang đến sự đổi mới và chất lượng đỉnh cao cho khách hàng. Phương châm của chúng tôi là: Tốt hơn. Nhanh hơn. An toàn hơn. Trong nhiều trường hợp: Rẻ hơn.

Hãy liên hệ với chúng tôi khi Quý doanh nghiệp có các nhu cầu về dịch vụ công nghệ thông tin, tư vấn chuyển đổi số, tìm kiếm các giải pháp phần mềm phù hợp, hoặc nếu Quý doanh nghiệp có đấu thầu CNTT (RFP) để chúng tôi tham dự. Quý doanh nghiệp có thể liên hệ với chúng tôi qua địa chỉ email [email protected]. Chúng tôi sẵn lòng hỗ trợ với mọi nhu cầu công nghệ của Quý doanh nghiệp.

© ABN ASIA