Một phương pháp mới để xóa 40% lớp LLM mà không làm giảm độ chính xác

Các nhà nghiên cứu vừa phát triển một phương pháp mới để xóa 40% lớp LLM mà không làm giảm độ chính xác.

Điều này làm cho các mô hình rẻ hơn nhiều và sử dụng nhanh hơn.

Phương pháp này kết hợp việc cắt tỉa, lượng tử hóa và PEFT đã được thử nghiệm trên nhiều mô hình nguồn mở khác nhau.

Mỗi họ mô hình có số lượng lớp tối đa có thể bị xóa trước khi độ chính xác giảm xuống:

• Mistral - 30%

• Llama 70B - 40%

• Llama 13B - 50%

TÁC GIẢ

Về ABN Asia: Ai Base Network (ABN), ABN Asia được thành lập từ năm 2012, là một công ty xuất phát từ học thuật, do những giảng viên, cựu du học sinh Hungary, Hà Lan, Nga, Đức, và Nhật Bản sáng lập. Chúng tôi chia sẻ đam mê chung và tầm nhìn vững chắc về công nghệ, mang đến sự đổi mới và chất lượng đỉnh cao cho khách hàng. Phương châm của chúng tôi là: Tốt hơn. Nhanh hơn. An toàn hơn. Trong nhiều trường hợp: Rẻ hơn.

Hãy liên hệ với chúng tôi khi Quý doanh nghiệp có các nhu cầu về dịch vụ công nghệ thông tin, tư vấn chuyển đổi số, tìm kiếm các giải pháp phần mềm phù hợp, hoặc nếu Quý doanh nghiệp có đấu thầu CNTT (RFP) để chúng tôi tham dự. Quý doanh nghiệp có thể liên hệ với chúng tôi qua địa chỉ email [email protected]. Chúng tôi sẵn lòng hỗ trợ với mọi nhu cầu công nghệ của Quý doanh nghiệp.

© ABN ASIA