- 公開日
問題はあなたのモデルではありません。あなたのエージェントの習慣です。
- 著者

- 名前
- AbnAsia.org
- @steven_n_t
Listen in English · 問題はあなたのモデルではありません。あなたのエージェントの習慣です。
0:00 / 0:00
Watch in English · 問題はあなたのモデルではありません。あなたのエージェントの習慣です。
Hugging Faceは、単一のベースモデルの上に、エージェントハーネス(pi、opencode、hermes)ごとに小型のLoRAアダプタを1つずつ学習させ、3つすべてを1台の推論サーバーから提供した。ホールドアウトタスクでは、アダプタは精度を維持または向上させながらツール呼び出しを減らし、評価スイープ1回あたりのGPU時間は約5ドルで済んだ。これは従来なら90ドルかかっていた。転用できるのはモデルの部分ではない。すべての報酬ハッキングのロールアウトをゼロ点にしたルールベースのプロキシである。
モデルは、どのハーネスでも同じエージェントではない。piのツール、opencodeのツール、あるいはhermesのプロンプトと制御フローを与えれば、同じ重みでも挙動は変わる。ツールが何をできるかを決め、プロンプトが何をしてよいと考えるかを決めるからだ。Hugging Faceのharness-hubチームはこれを真剣に受け止めた。より優れたモデルを1つ訓練する代わりに、単一のベースモデルの上にハーネスごとの小さなLoRAアダプターを訓練し、3つすべてを1つの推論サーバーから提供し、開発者が実際に使うエージェント内で訓練されたアダプターに差し替えられるようにした。
1つの重みセット、3つのポリシー
各モデルは1つのvLLMによって提供されます。その3つのトレーナーはハーネスごとに1つずつで、各リクエストで自身のアダプターを指定するため、ベースの重みは一度だけ読み込まれます。勾配ステップの後、トレーナーは新しいアダプターを現在のアダプターの隣に読み込みます。すでに実行中のリクエストは古いバージョンで完了するため、何も一時停止しません。
この構成が機能するのは、時間を支配しているのが勾配ステップではなくロールアウトだからだ。セッションはほとんどの時間をサンドボックス内で過ごすため、以前の実行では1ステップあたり順伝播と逆伝播に約35秒を費やしていたのに対し、待ち時間は数分に及んでいた。LFM3-1.7Bでは、3つのトレーナーが1台のGPUを共有し、それぞれがアイドル状態になるのではなく交代で処理を行う。
タスクは、8回のロールアウトすべてがスコア付けされて初めてキューに入る。GRPOは比較から学習するためだ。1ステップはその作業をトークン予算の下で4つのマイクロバッチに詰め込むので、短いセッションを多数、または長いセッションを少数保持し、アダプターが4世代以上古いロールアウトは破棄される。
ロールアウトが時間を支配する
トレーナーは最大48セッションを同時に実行し続ける。タスクは、その8つのロールアウトすべてがスコアリングされたときにのみキューに加わる。
グループが比較される
GRPOはグループの両半分を必要とする。一部のロールアウトは合格し、一部は失敗し、その差が勾配となる。
ステップは完了したものを詰め込む
トークン予算内の4つのマイクロバッチ——24Bモデルは131,072トークン、他の2つは65,536トークン。
アダプターは負荷がかかった状態で切り替わる
すでに実行中のリクエストは古いバージョンで完了する。アダプター4世代分を超えて古くなったロールアウトは破棄される。
RLは近道を見つけるため、彼らは手前にガードを置いた
報酬は、タスク固有の検証器に加えて、正しいロールアウトでは 0.1 × (1 − 呼び出し回数 ÷ 15) を加えたもので、より少ないツールで済んだ回答を優先する。これは誘いである。テストに合格することで報酬を得るポリシーは、テストを読もうとするだろう。そのため、すべてのツール呼び出しは、OpenAI API と Anthropic API の両方を扱い、トレーナーのスレッド上で動作するリバースプロキシである safeagents を経由する。
3段階。すべてルールでモデルはなし、10〜20ミリ秒で応答する。呼び出しは、リクエストが宣言したツールを使い、会話中に現れるホスト(モデル自身の以前のターンに現れるものは数えない)に到達しなければならない。その後、会話は報酬改ざん、テスト編集、ベンチマーク参照、プロキシ回避についてスキャンされる。ブロックされた呼び出しは通知に置き換えられ、ロールアウトのスコアはゼロになる。トークンIDとlogprobsは未変更のまま通過するため、GRPOはその試行についても学習し、それを押し下げる。
TwIL-8Bは、エージェントデータで一度も訓練されていない推論モデルだが、ステップ0でそれを試した。答えを計算する代わりに、タスクのデータがステージングされたバケットを探しに行き、ブロックされた。ガードを有効にした50ステップのアブレーションでは、ホールドアウトのpass@1が+0.0 ± 4.1ポイント変化した。コストはかからず、精度についても何も証明しない。
タスクの出所
環境は、人々がすでにHub上で公開したセッションから生まれる。各環境はトラジェクトリに変換され、ベンチマーク漏洩についてスクリーニングされ、仮想ファイルシステムに対してリプレイされ、その後、記録されたコマンド、その終了コード、および各コマンド直前のファイルに基づくルールによって型付けされる。
スクリーニングとリプレイ
トラジェクトリは改ざんと漏えいについて検査され、すべてのファイル書き込みが適用されることで、各コマンドは実際に目にしたファイルを保持する。
セッションを類型化する
終了コードとユーザー要求に関する規則:失敗後に成功したチェック、最初の要求から構築されたプロジェクト、後続の変更、計算された事実。
試験を作成する
教師モデルがインターフェース契約、スタブ、隠しテストを作成する。270タスクのうち259がそれらを備えている。
証明されたものだけを残す
オラクルは2回とも満額の報酬を獲得しなければならず、スタブ、空のワークスペース、改ざんはスコア0でなければならない。
解答キーは教師のものではない。各タスクには、作業が行われてチェックに合格したトラジェクトリから取得されたオラクルが同梱される。教師が試験を作成し、セッションが採点対象となる解答を提供する。
その価値と、そうでないもの
LFM2.5-24B-A2Bの9つのチェックポイント、1,350回のエージェントセッションを、単一のH200ジョブで1時間未満、GPU時間にして約5ドルで実行した。各チェックポイントを完全な重みにマージして1つずつ提供すると約90ドルかかっていたが、この方法ならスコアはトレーニングされたときとまったく同じ状態のアダプターを測定する。
移転するのはアダプターではなく形だ。エージェントがすでに実行しているセッションを保持し、それらを洗浄し、検証可能なタスクに変え、使用しているハーネス内でランク32のアダプターを訓練し、すべてのツール呼び出しの前にルールベースのガードを置く。なぜなら、振る舞いに報酬を支払った瞬間、ポリシーはそれを生み出す最も安価な方法を探すからだ。
チームには、その構成を修正するはずのセッションがまさに不足している。壊れて修正される作業と、複数のリクエストにわたって成長するプロジェクトだ。これら2つの形は今回のリリースの6%だ。
Hugging Face「Harness adapters: Safe RL for efficient agentic development」(2026年11月6日公開)。図、タスク数、ハイパーパラメータ、およびブロックされた呼び出しに関する記述は著者が公開したとおりであり、実行コストと報酬は著者らが報告した数値であり、独立に測定されたものではない。
日本語版は Ai 支援を使用しているため、小さな間違いが存在する可能性があることをご了承ください。
著者
Ai-Banking-NetworkSecurity (ABN), ABN ASIAは、アカデミアに深く関わり、アメリカ、オランダ、ハンガリー、日本、韓国、シンガポール、ベトナムでの仕事経験を持つ人々によって設立されました。ABN ASIAは、学問とテクノロジーが機会と出会う場所です。最先端のソリューションと優れたソフトウェア開発サービスにより、ビジネスがレベルアップし、グローバルシーンに挑戦できるよう支援しています。 私ちの取り組み: より速く。 より良い。 より信頼性が高くなります。 ほとんどの場合、価格も安くなります。
いつでも、ITサービス、デジタルコンサルティング、既製のソフトウェアソリューション、または提案依頼書(RFP)をお探しの際は、お気軽にお問い合わせください。お問い合わせ先は[email protected]です。お客様のテクノロジーに関するニーズにお応えします。

© ABN ASIA