Llama-4 không làm thất vọng!

• Dễ dàng triển khai hiện nay là một tính năng OSS quan trọng hơn kích thước lớn. Có sự nhấn mạnh rằng Llama 4 Scout có thể chạy trên một H100 duy nhất, trái ngược với Llama-3-401B, mạnh mẽ nhưng cuối cùng có ít sự chấp nhận hơn. Mixture of Expert là một cách tốt để tiến tới chiến lược OSS.
• Một kỹ thuật mới gọi là MetaP điều chỉnh các siêu tham số huấn luyện một cách thông minh. Không có nhiều chi tiết, nhưng tôi cá rằng nó gần giống với tối ưu hóa Bayesian trong Ax, một khung mã nguồn mở từ Meta thực hiện các thí nghiệm thích ứng (như thử nghiệm A/B) với ngân sách thử nghiệm hạn chế.
• Chiến lược sau huấn luyện là giảm trọng số SFT/DPO và tăng trọng số RL, vì SFT có thể ràng buộc quá mức mô hình và giảm khả năng khám phá.
• Điểm kiểm tra mô hình trước đó có thể phục vụ như một nhà phê bình cho chính nó sau này. Ví dụ, mô hình lọc ra các yêu cầu dễ dàng cho lần lặp tiếp theo, và tiếp tục cải thiện khả năng lọc khi được huấn luyện.
• Llama 4 Behemoth được huấn luyện với FP8, 32K GPU và 30T tokens. Nó phải loại bỏ 95% dữ liệu SFT so với 50% cho các mô hình nhỏ hơn. Cơ bản là dữ liệu huấn luyện quá dễ dàng cho mô hình lớn.
• Các mẹo để cho phép ngữ cảnh 10M có vẻ khá đơn giản: (1) loại bỏ nhúng vị trí khỏi mỗi lớp chú ý khác. Nó đến từ một bài báo giới thiệu NoPE (No Positional Embedding), tên thông minh lol; (2) điều chỉnh chú ý softmax theo kích thước ngữ cảnh.
• Grok hiện là tiêu chuẩn SOTA cho thiên kiến xã hội LLM! Trích dẫn: "Llama 4 hoạt động tốt hơn đáng kể so với Llama 3 và tương đương với Grok" về xu hướng chính trị và từ chối trả lời.

Chúc mừng đội ngũ với một lần phát hành xuất sắc khác!

TÁC GIẢ

Về ABN Asia: AiUTOMATING PEOPLE, ABN Asia được thành lập từ năm 2012, là một công ty xuất phát từ học thuật, do những giảng viên, cựu du học sinh Hungary, Hà Lan, Nga, Đức, và Nhật Bản sáng lập. Chúng tôi chia sẻ đam mê chung và tầm nhìn vững chắc về công nghệ, mang đến sự đổi mới và chất lượng đỉnh cao cho khách hàng. Phương châm của chúng tôi là: Tốt hơn. Nhanh hơn. An toàn hơn. Trong nhiều trường hợp: Rẻ hơn.

Hãy liên hệ với chúng tôi khi Quý doanh nghiệp có các nhu cầu về dịch vụ công nghệ thông tin, tư vấn chuyển đổi số, tìm kiếm các giải pháp phần mềm phù hợp, hoặc nếu Quý doanh nghiệp có đấu thầu CNTT (RFP) để chúng tôi tham dự. Quý doanh nghiệp có thể liên hệ với chúng tôi qua địa chỉ email [email protected]. Chúng tôi sẵn lòng hỗ trợ với mọi nhu cầu công nghệ của Quý doanh nghiệp.

© ABN ASIA