Luận điểm về mô hình nhỏ của Karpathy bước vào phép thử: một mô hình 8,8B đạt 93% năng lực lập trình của các mô hình tiên phong.

Andrej Karpathy lập luận rằng một mô hình 1B có thể vượt trội so với hầu hết các LLM hiện nay vì trí thông minh chưa bao giờ là kiến thức. TwIL-8B trọng số mở của webAI, với 8,8 tỷ tham số, đạt 93% điểm lập trình tiên phong và 92% về tuân thủ chỉ dẫn, trong khi vẫn kém xa trên các bài đánh giá kiến thức.

Lập luận của Andrej Karpathy về các mô hình nhỏ không phải là nhỏ hơn thì tốt hơn. Mà là phần lớn thứ mà các mô hình hiện nay dành năng lực cho không phải là trí tuệ.

“Một mô hình 1B có thể hiệu quả hơn nhiều so với hầu hết các LLM hiện nay,” ông viết. “90% các mô hình hiện nay lãng phí một lượng lớn năng lực và tiền bạc vào việc ghi nhớ những thứ không quan trọng.”

Nói thẳng ra, luận điểm là phần lớn những gì một mô hình hiện đại học được là văn bản được ghi nhớ, và phần thực sự suy luận thì nhỏ hơn nhiều so với mô hình mang nó. Karpathy đã lặp lại lập luận này dưới nhiều hình thức khác nhau trong suốt năm, và tuần này một mô hình trọng số mở 8,8B của webAI đã mang đến cho nó một phép thử có thể đo lường được.

Năm luận điểm

Quan điểm của Karpathy chia thành năm phần.

Trí tuệ chưa bao giờ là kiến thức. Bóc đi phần internet được ghi nhớ và giữ lại phần suy luận; thứ còn lại là một lõi nhận thức, và nó nhỏ.

Phần lõi có thể vừa trong khoảng 1 tỷ tham số, thậm chí ít hơn. Cách diễn đạt của ông mượn tiêu đề của Feynman: còn nhiều chỗ ở tầng đáy. Trong cách hình dung của ông, ngành này đã trả tiền cho một thư viện trong khi thứ nó cần là một bộ não.

Kích thước không còn là nút thắt nữa. Điều khiến một agent hoạt động là những công cụ mà nó có thể gọi và vòng phản hồi khép kín đến mức nào, chứ không phải số lượng tham số.

Trí tuệ nằm trong hệ thống, không nằm trong các trọng số. Một mô hình thô là một CPU không có hệ điều hành; một lõi nhỏ trong một bộ khung tốt đánh bại một mô hình khổng lồ đứng một mình.

Bạn có thể sở hữu nó. Một mô hình chạy trên phần cứng của chính bạn là mô hình mà không ai có thể giới hạn tốc độ, tăng giá hay ngừng hỗ trợ.

Bài kiểm tra cho thấy gì

webAI đã phát hành TwIL-8B, một mô hình suy luận 8,79 tỷ tham số được huấn luyện sau từ Granite 4.2 8B của IBM bằng tinh chỉnh có giám sát toàn bộ tham số và học tăng cường GRPO, sau đó là một giai đoạn RL nhận biết độ dài tiếp theo nhằm thưởng cho các chuỗi suy luận ngắn hơn.

Trong các so sánh đã công bố của mình, TwIL-8B đạt 93% điểm frontier tốt nhất trên LiveCodeBench coding, 92% trên IFBench về tuân theo chỉ dẫn, 90% trên HMMT tháng 11 năm 2025 và 88% trên AIME 2026. Mô hình đạt 98,2 trên MATH-500 và 81,6 trên LiveCodeBench, kém GPT-5.5, Claude Opus 4.8 và Grok 4.3 từ 2,9 đến 6,2 điểm, đồng thời vượt Claude Opus 4.8 trên IFBench 12,2 điểm.

Mô hình cũng chạy cục bộ: 8,79 tỷ tham số ở bfloat16, hoặc bản dựng Q4_K_M 4,98 GiB cho CPU hoặc GPU phổ thông.

Điểm mấu chốt đúng là điều mà cách đặt vấn đề của Karpathy dự đoán. TwIL-8B không phải là một mô hình tri thức. GPQA Diamond đạt 70,2, thấp hơn khoảng 20 đến 23 điểm so với mức tiên phong; HLE là 12,6, tức khoảng 26% điểm tiên phong tốt nhất; MMLU-Pro là 76,5. Trên bộ đề thi đấu khó nhất, HMMT tháng 2 năm 2026, nó tụt xuống còn 69% mức tiên phong.

Sự phân tách đó chính là lập luận thu nhỏ. Ở đâu một benchmark thưởng cho tri thức được lưu trữ, mô hình nhỏ thua. Ở đâu nó thưởng cho suy luận và tuân theo chỉ dẫn, mô hình thu hẹp khoảng cách xuống còn trong vòng vài điểm với kích thước chỉ bằng một phần nhỏ.

Những lưu ý là có thật

Thẻ mô hình thẳng thắn một cách bất thường về những gì các con số không cho thấy.

Điểm số của đối thủ không được chạy lại; chúng đến từ thẻ của nhà cung cấp và các đánh giá bên thứ ba với lời nhắc, cách lấy mẫu và ngân sách token riêng. Các bộ AIME và HMMT gồm 30 đến 33 bài toán, nên mỗi bài đáng khoảng ba điểm và những khoảng cách cỡ đó nằm trong phạm vi nhiễu. Một số dòng của chính TwIL-8B được đo trên biến thể verbose của nó và chưa được chạy trên biến thể balanced. SWE-bench, khả năng sử dụng công cụ và các tác vụ agent không được đánh giá chút nào. Giấy phép là giấy phép phi thương mại của webAI, không phải giấy phép mã nguồn mở.

Nó cũng rất dài dòng: khoảng 19.500 token đầu ra cho mỗi bài toán AIME 2026, gần gấp bốn lần lượng GPT-5.5 dùng.

Điều nó thay đổi

Tuyên bố thứ tư và thứ năm của Karpathy chính là những điều bản phát hành này thực sự kiểm chứng. Một mô hình chạy trong năm gigabyte là mô hình mà một nhóm có thể đặt trên phần cứng của chính mình, gọi mà không phải trả tiền theo từng token, và giữ lại sau khi nhà cung cấp thay đổi dải sản phẩm. Đó là lập luận về quyền sở hữu, và nó không phụ thuộc vào việc đánh bại mô hình tiên phong ở mọi hạng mục.

Dự đoán của ông là trong mười hai tháng nữa, khoảng cách giữa các nhóm triển khai trên thiết bị và các nhóm trả hóa đơn theo từng token cho các mô hình tiên phong sẽ không nằm ở năng lực. Nếu TwIL-8B là hình hài của những gì tiếp theo, thì sự phân tách sẽ lộ ra đúng ở nơi mà model card đã cho thấy: suy luận vẫn hoạt động tốt ở kích thước nhỏ, còn bộ nhớ thì không.

Nguồn: Andrej Karpathy; model card TwIL-8B của webAI trên Hugging Face.

Liên hệ: [email protected]

TÁC GIẢ

Về ABN Asia: Ai-Banking-NetworkSecurity (ABN), ABN Asia được thành lập từ năm 2012, là một công ty xuất phát từ học thuật, do những giảng viên, cựu du học sinh Hungary, Hà Lan, Nga, Đức, và Nhật Bản sáng lập. Chúng tôi chia sẻ đam mê chung và tầm nhìn vững chắc về công nghệ, mang đến sự đổi mới và chất lượng đỉnh cao cho khách hàng. Phương châm của chúng tôi là: Tốt hơn. Nhanh hơn. An toàn hơn. Trong nhiều trường hợp: Rẻ hơn.

Hãy liên hệ với chúng tôi khi Quý doanh nghiệp có các nhu cầu về dịch vụ công nghệ thông tin, tư vấn chuyển đổi số, tìm kiếm các giải pháp phần mềm phù hợp, hoặc nếu Quý doanh nghiệp có đấu thầu CNTT (RFP) để chúng tôi tham dự. Quý doanh nghiệp có thể liên hệ với chúng tôi qua địa chỉ email [email protected]. Chúng tôi sẵn lòng hỗ trợ với mọi nhu cầu công nghệ của Quý doanh nghiệp.