Những Yếu Tố Quan Trọng Trong Transformers?

Những Gì Quan Trọng Trong Transformers? là một bài báo thú vị cho thấy bạn thực sự có thể loại bỏ một nửa các lớp attention trong các mô hình ngôn ngữ lớn (LLMs) như Llama mà không làm giảm hiệu suất mô hình một cách đáng kể.

Khái niệm này tương đối đơn giản. Các tác giả xóa các lớp attention, lớp MLP, hoặc toàn bộ các khối transformer:

• Loại bỏ toàn bộ các khối transformer dẫn đến suy giảm hiệu suất đáng kể.

• Loại bỏ các lớp MLP dẫn đến suy giảm hiệu suất đáng kể.

• Loại bỏ các lớp attention hầu như không gây suy giảm hiệu suất!

Trong Llama 2 70B, ngay cả khi một nửa các lớp attention bị xóa (dẫn đến tăng tốc 48%), chỉ có sự giảm 2,4% trong các tiêu chuẩn của mô hình. Tác giả cũng đã thêm kết quả của Llama 3 vào bài báo gần đây, kết quả tương tự.

Các lớp attention không bị loại bỏ ngẫu nhiên mà dựa trên điểm tương đồng dựa trên cosine: Nếu đầu vào và đầu ra rất giống nhau, lớp đó là dư thừa và có thể bị loại bỏ.

Đây là một kết quả rất thú vị và có thể được kết hợp với các kỹ thuật nén mô hình khác nhau (như pruning và quantization) để tạo ra hiệu ứng cộng dồn.

Hơn nữa, các lớp được loại bỏ theo cách một lần (thay vì cách lặp lại), và không cần (tái) đào tạo sau khi loại bỏ. Tuy nhiên, tái đào tạo mô hình sau khi loại bỏ có thể thậm chí khôi phục một phần hiệu suất đã mất.

Tổng thể, đây là một nghiên cứu rất đơn giản nhưng rất thú vị. Có vẻ như có rất nhiều sự dư thừa tính toán trong các kiến trúc lớn hơn.

Tuy nhiên, một điểm hạn chế lớn của nghiên cứu này là tập trung chủ yếu vào các tiêu chuẩn học thuật (HellaSwag, MMLU, v.v.). Không rõ mô hình hoạt động tốt như thế nào trên các tiêu chuẩn đo lường hiệu suất hội thoại.

TÁC GIẢ

Về ABN Asia: AiUTOMATING PEOPLE, ABN Asia được thành lập từ năm 2012, là một công ty xuất phát từ học thuật, do những giảng viên, cựu du học sinh Hungary, Hà Lan, Nga, Đức, và Nhật Bản sáng lập. Chúng tôi chia sẻ đam mê chung và tầm nhìn vững chắc về công nghệ, mang đến sự đổi mới và chất lượng đỉnh cao cho khách hàng. Phương châm của chúng tôi là: Tốt hơn. Nhanh hơn. An toàn hơn. Trong nhiều trường hợp: Rẻ hơn.

Hãy liên hệ với chúng tôi khi Quý doanh nghiệp có các nhu cầu về dịch vụ công nghệ thông tin, tư vấn chuyển đổi số, tìm kiếm các giải pháp phần mềm phù hợp, hoặc nếu Quý doanh nghiệp có đấu thầu CNTT (RFP) để chúng tôi tham dự. Quý doanh nghiệp có thể liên hệ với chúng tôi qua địa chỉ email [email protected]. Chúng tôi sẵn lòng hỗ trợ với mọi nhu cầu công nghệ của Quý doanh nghiệp.

© ABN ASIA