Karpathy 的小模型论点迎来检验：一个 8.8B 模型达到前沿编程水平的 93%。

Andrej Karpathy 认为，一个 1B 模型可以胜过当前大多数 LLM，因为智能从来就不是知识。webAI 的开放权重 TwIL-8B 拥有 88 亿参数，在前沿编程分数上达到 93%，在指令遵循上达到 92%，但在知识基准测试上仍大幅落后。

安德烈·卡帕西关于小模型的论点并不是“越小越好”，而是：当前模型把大部分容量花在了并非智能的东西上。

“一个10亿参数的模型可以比大多数当前的大语言模型有效得多，”他写道，“当前90%的模型都把大量容量和金钱浪费在记忆无关紧要的东西上。”

直白地说，这一主张是：现代模型学到的东西很大一部分是被记住的文本，而真正进行推理的部分远小于承载它的模型。今年以来，Karpathy 以不同形式重复过这一论点，而本周 webAI 的一个 8.8B 开放权重模型为它提供了一次可量化的检验。

五项主张

Karpathy 的观点可分为五个部分。

智能从来不是知识。 剥离被记住的互联网内容，保留推理；剩下的是一个认知核心，而且它很小。

核心可能只需约10亿参数，甚至更少。 他的措辞借用了费曼的标题：底层还有很大空间。在他的框架中，行业一直在为一整座图书馆付费，而它真正需要的是一颗大脑。

规模不再是瓶颈。 让智能体奏效的是它能调用的工具以及反馈回路有多紧密，而不是参数数量。

智能存在于系统中，而不在权重里。 原始模型是没有操作系统的CPU；良好框架内的小核心胜过单打独斗的巨型模型。

你可以拥有它。 运行在你自己硬件上的模型，是没有人能限速、涨价或弃用的模型。

测试说明了什么

webAI 发布了 TwIL-8B，这是一个拥有 87.9 亿参数的推理模型，基于 IBM 的 Granite 4.2 8B 进行后训练，采用全参数监督微调和 GRPO 强化学习，随后又经过一个长度感知的强化学习阶段，该阶段会奖励更短的推理轨迹。

在其公布的对比中，TwIL-8B 在 LiveCodeBench 编程任务上达到最佳前沿成绩的 93%，在 IFBench 指令遵循上达到 92%，在 HMMT 2025 年 11 月赛上达到 90%，在 AIME 2026 上达到 88%。它在 MATH-500 上得分 98.2，在 LiveCodeBench 上得分 81.6，与 GPT-5.5、Claude Opus 4.8 和 Grok 4.3 的差距在 2.9 至 6.2 分之间，并在 IFBench 上领先 Claude Opus 4.8 12.2 分。

它还可以在本地运行：bfloat16 精度下为 87.9 亿参数，或使用 4.98 GiB 的 Q4_K_M 版本，可在 CPU 或入门级 GPU 上运行。

问题恰恰在于 Karpathy 的框架所预测的那一点。TwIL-8B 不是知识模型。GPQA Diamond 得分为 70.2，落后前沿约 20 到 23 分；HLE 为 12.6，约为最佳前沿得分的 26%；MMLU-Pro 为 76.5。在最难的竞赛集 HMMT 2026 年 2 月上，它降至前沿的 69%。

这种分化正是该论点的缩影。当基准测试奖励存储知识时，小模型会落后。当它奖励推理和指令遵循时，小模型以一小部分规模将差距缩小到几分之内。

注意事项确实存在

这张模型卡异常坦率地说明了这些数字没有展示什么。

竞品分数没有重新运行；它们来自厂商卡片和第三方评估，而这些评估各有自己的提示、采样和 token 预算。AIME 和 HMMT 题集包含 30 到 33 道题，因此一道题约值三分，这种量级的差距落在噪声范围内。TwIL-8B 自己的若干行是在其冗长版本上测得的，尚未在平衡版本上运行。SWE-bench、工具使用和智能体任务完全没有评估。许可证是 webAI 的非商业许可证，而非开源许可证。

它很冗长：在 AIME 2026 的每道题上输出约 19,500 个 token，约为 GPT-5.5 消耗量的四倍。

它改变了什么

Karpathy 的第四和第五项主张，正是此次发布实际检验的内容。一个能在五 GB 内存中运行的模型，是团队可以部署在自己硬件上、调用时无需按 token 计量、并且在供应商更换产品线后仍可继续保留的模型。这就是所有权论点，而它并不依赖于在每一项上都击败前沿模型。

他的预测是，十二个月后，交付端侧模型的团队与按 token 为前沿模型付费的团队之间的差距将不在于能力。如果 TwIL-8B 代表了接下来的形态，那么分化会出现在模型卡已经显示的地方：推理能力在小规模下迁移良好，而记忆则不然。

来源：Andrej Karpathy；Hugging Face 上的 webAI TwIL-8B 模型卡。

联系方式：[email protected]

请注意，中文版本是由 AI 辅助翻译的，因此可能存在细微错误。

作者

Ai-Banking-NetworkSecurity (ABN), ABN ASIA由具有深厚学术背景的人员创立，他们在美国、荷兰、匈牙利、日本、韩国、新加坡和越南等国家有工作经验。ABN Asia是学术界和技术相遇的地方。凭借我们领先的解决方案和优秀的软件开发服务，我们帮助企业提升水平，走向全球舞台。我们的承诺：更快。更好。更可靠。在大多数情况下：也更便宜。

无论您需要IT服务、数字咨询、现成软件解决方案，还是想向我们发送招标要求（RFPs），都请随时与我们联系。您可以通过[email protected]与我们联系。我们随时准备为您提供所有技术需求的帮助。