DeepSeek và Kimi: Tại sao chúng hoạt động tốt như vậy

Điều gì khiến họ thực hiện tốt và nhanh như vậy?

Việc một bài báo thứ hai xuất hiện với hàng loạt bí mật về bánh đà RL và lý luận đa phương thức kiểu o1 không nằm trong danh sách dự đoán của tôi hôm nay. Các bài báo của Kimi (một startup khác) và DeepSeek đã hội tụ đáng kể về những phát hiện tương tự:

Không cần tìm kiếm cây phức tạp như MCTS. Chỉ cần tuyến tính hóa dấu vết suy nghĩ và thực hiện dự đoán tự hồi quy cũ tốt; Không cần các hàm giá trị đòi hỏi một bản sao đắt đỏ khác của mô hình; Không cần mô hình hóa phần thưởng dày đặc. Dựa càng nhiều càng tốt vào sự thật, kết quả cuối cùng.

Khác biệt:

DeepSeek thực hiện phương pháp AlphaZero - hoàn toàn khởi động thông qua RL mà không có đầu vào của con người, tức là "khởi động lạnh". Kimi thực hiện phương pháp AlphaGo-Master: SFT nhẹ để khởi động thông qua các dấu vết CoT được thiết kế theo lời nhắc. Trọng số của DeepSeek có giấy phép MIT (lãnh đạo tư tưởng!); Kimi chưa có phát hành mô hình. Kimi thể hiện hiệu suất đa phương thức mạnh mẽ (!) trên các tiêu chuẩn như MathVista, yêu cầu hiểu biết thị giác về hình học, bài kiểm tra IQ, v.v. Bài báo của Kimi có nhiều chi tiết hơn về thiết kế hệ thống: cơ sở hạ tầng RL, cụm lai, hộp cát mã, chiến lược song song; và chi tiết học tập: ngữ cảnh dài, nén CoT, chương trình học, chiến lược lấy mẫu, tạo trường hợp thử nghiệm, v.v.

TÁC GIẢ

Về ABN Asia: AiUTOMATING PEOPLE, ABN Asia được thành lập từ năm 2012, là một công ty xuất phát từ học thuật, do những giảng viên, cựu du học sinh Hungary, Hà Lan, Nga, Đức, và Nhật Bản sáng lập. Chúng tôi chia sẻ đam mê chung và tầm nhìn vững chắc về công nghệ, mang đến sự đổi mới và chất lượng đỉnh cao cho khách hàng. Phương châm của chúng tôi là: Tốt hơn. Nhanh hơn. An toàn hơn. Trong nhiều trường hợp: Rẻ hơn.

Hãy liên hệ với chúng tôi khi Quý doanh nghiệp có các nhu cầu về dịch vụ công nghệ thông tin, tư vấn chuyển đổi số, tìm kiếm các giải pháp phần mềm phù hợp, hoặc nếu Quý doanh nghiệp có đấu thầu CNTT (RFP) để chúng tôi tham dự. Quý doanh nghiệp có thể liên hệ với chúng tôi qua địa chỉ email [email protected]. Chúng tôi sẵn lòng hỗ trợ với mọi nhu cầu công nghệ của Quý doanh nghiệp.

© ABN ASIA