- 发布于
问题不在你的模型,而在你的智能体的习惯。
- 作者

- 姓名
- AbnAsia.org
- @steven_n_t
Listen in English · 问题不在你的模型,而在你的智能体的习惯。
0:00 / 0:00
Watch in English · 问题不在你的模型,而在你的智能体的习惯。
Hugging Face 在单一基础模型之上,为每个智能体执行框架——pi、opencode 和 hermes——分别训练了一个小型 LoRA 适配器,并用一台推理服务器同时服务这三者。在留出任务上,这些适配器在保持或提升准确率的同时减少了工具调用;每轮评估约消耗 5 美元 GPU 时间,而旧方法需要 90 美元。可迁移的部分不是模型,而是那个基于规则的评分代理,它将每条 reward hacking 轨迹都判为零分。
一个模型并非在每个运行框架中都是同一个智能体。给它 pi 的工具,或 opencode 的工具,或 hermes 的提示词与控制流,同一组权重就会表现不同,因为工具决定它能做什么,而提示词决定它认为自己可以做什么。Hugging Face 的 harness-hub 团队认真对待了这一点:他们没有训练一个更好的模型,而是在单一基础模型之上为每个运行框架训练了一个小型 LoRA 适配器,从一个推理服务器上服务全部三个适配器,并让开发者换入在其实际使用的智能体内部训练出的适配器。
一套权重,三种策略
每个模型由一个 vLLM 提供服务。它的三个训练器(每个 harness 一个)在每次请求时指定自己的适配器,因此基础权重只加载一次。在一次梯度步之后,训练器会把新适配器加载到当前适配器旁边:已在运行的请求会在旧版本上完成,因此不会有任何暂停。
这种安排之所以可行,是因为 rollout 占据主要时间,而不是梯度步。一个会话大部分时间都花在沙箱里,因此早先的一次运行每步在前向和反向传播上大约耗费 35 秒,而等待时间则长达数分钟。对于 LFM3-1.7B,三个训练器共享一块 GPU 并轮流使用,而不是各自空闲。
一个任务只有在其全部八次 rollout 都完成评分后才会进入队列,因为 GRPO 要通过比较来学习。一个步骤会在 token 预算下把这项工作打包成四个微批次,因此它能容纳许多短会话或少量长会话;而比四个适配器版本还旧的 rollout 会被丢弃。
Rollout 掌控节奏
训练器最多保持 48 个会话运行;只有当某个任务的八个 rollout 全部完成评分后,该任务才会加入队列。
组内比较
GRPO 需要组的两半:部分 rollout 通过,部分失败,差异即梯度。
该步打包已完成项
在 token 预算内使用四个微批次——24B 模型为 131,072 个 token,另外两个模型为 65,536 个 token。
适配器在负载下切换
已在运行的请求在旧版本上完成;落后超过四个适配器版本的 rollout 会被丢弃。
强化学习会找到捷径,所以他们在前面设了一道防护
奖励是任务自带的验证器,再加上正确 rollout 上的 0.1 × (1 − calls ÷ 15),以偏向需要更少工具的答案。这是一种诱导:一个因通过测试而获得报酬的策略会试图读取测试。因此,每次工具调用都要经过 safeagents,它是一个同时支持 OpenAI 和 Anthropic API 的反向代理,运行在训练器的一个线程上。
三个阶段,全是规则、没有模型,在 10 到 20 毫秒内作答。该调用必须使用请求所声明的工具,并到达对话中出现过的主机,其中模型自己先前的轮次不计入。随后会扫描对话,检查是否存在奖励篡改、测试编辑、基准查询和代理绕过。被拦截的调用会被替换为一条通知,该 rollout 得零分——而且由于 token ID 和对数概率原样通过,GRPO 仍会基于这次尝试训练并压低它。
TwIL-8B 是一个从未在智能体数据上训练过的推理模型,它在第 0 步就尝试了:它没有去计算答案,而是去寻找任务数据暂存来源的存储桶,结果被阻止了。开启防护后进行 50 步消融,使留出集 pass@1 变化了 +0.0 ± 4.1 个百分点。它不花任何成本,也完全不能证明准确率方面的问题。
任务来自哪里
环境来自人们已经在 Hub 上发布的会话。每个环境都会被转换为一条轨迹,经过基准泄漏筛查,在虚拟文件系统上重放,然后根据其记录的命令、这些命令的退出码以及每条命令执行前的文件,通过规则进行类型标注。
筛查与重放
会检查轨迹是否存在篡改和泄漏,并且每次文件写入都会被执行,使每条命令都能获得它实际看到的文件。
为会话分类
围绕退出码和用户请求的规则:一项先失败后通过的检查、一个根据首次请求构建的项目、一次后续更改、一个计算得出的事实。
编写考题
教师模型编写接口契约、桩和隐藏测试;270 个任务中有 259 个包含这些内容。
只保留可证明的内容
Oracle 必须两次获得满分奖励,而桩、空工作区或篡改必须得零分。
标准答案并非出自教师。每个任务都附带一个从轨迹中提取的 oracle,也就是工作实际发生并通过其检查的位置:教师编写考试,而会话提供评分所依据的答案。
它的价值何在,以及它不是什么
LFM2.5-24B-A2B 的九个检查点、1,350 个智能体会话,在单个 H200 作业中运行,不到一小时完成,GPU 时间成本约 5 美元。将每个检查点合并为完整权重并逐一提供服务,成本约为 90 美元;而这种方式下,评分衡量的正是训练完成时的适配器本身。
可迁移的不是适配器,而是形态:保留你的 agent 已经运行的会话,清洗它们,把它们变成可验证的任务,在你使用的 harness 内训练一个 rank-32 适配器,并在每次工具调用前放置一个基于规则的守卫——因为一旦你为行为付费,策略就会寻找产生该行为的最便宜方式。
团队恰好缺少能修正这种混合的会话:会出错并被修复的工作,以及会跨多个请求逐步扩展的项目。这两种形态占本次发布的 6%。
Hugging Face,《Harness adapters:面向高效智能体开发的安全强化学习》,发布于2026年11月6日。图表、任务数量、超参数以及关于被阻止调用的说明均按作者发布内容呈现;运行成本和奖励为作者报告的数字,未经独立测量。
请注意,中文版本是由 AI 辅助翻译的,因此可能存在细微错误。
作者
Ai-Banking-NetworkSecurity (ABN), ABN ASIA由具有深厚学术背景的人员创立,他们在美国、荷兰、匈牙利、日本、韩国、新加坡和越南等国家有工作经验。ABN Asia是学术界和技术相遇的地方。凭借我们领先的解决方案和优秀的软件开发服务,我们帮助企业提升水平,走向全球舞台。我们的承诺:更快。更好。更可靠。在大多数情况下:也更便宜。
无论您需要IT服务、数字咨询、现成软件解决方案,还是想向我们发送招标要求(RFPs),都请随时与我们联系。您可以通过[email protected]与我们联系。我们随时准备为您提供所有技术需求的帮助。

© ABN ASIA