Xuất bản vào

Mô hình của bạn không phải là vấn đề. Thói quen của tác nhân mới là vấn đề.

Tác giả

Listen to this article · Mô hình của bạn không phải là vấn đề. Thói quen của tác nhân mới là vấn đề.

0:00 / 0:00

Watch in English · Mô hình của bạn không phải là vấn đề. Thói quen của tác nhân mới là vấn đề.

Hugging Face đã huấn luyện một bộ điều hợp LoRA nhỏ cho mỗi khung tác nhân — pi, opencode và hermes — trên một mô hình nền duy nhất, và phục vụ cả ba từ một máy chủ suy luận. Trên các tác vụ giữ lại, các bộ điều hợp thực hiện ít lệnh gọi công cụ hơn trong khi vẫn giữ hoặc cải thiện độ chính xác, với khoảng 5 USD thời gian GPU cho mỗi đợt đánh giá mà theo cách cũ sẽ tốn 90 USD. Phần có thể chuyển giao không phải là mô hình: mà là proxy dựa trên quy tắc đã chấm điểm 0 cho mọi rollout reward-hacking.

Một mô hình không phải là cùng một agent trong mọi harness. Đưa cho nó các công cụ của pi, hoặc opencode, hoặc prompt và luồng điều khiển của hermes, thì cùng một bộ trọng số sẽ hành xử khác nhau, vì công cụ quyết định nó có thể làm gì và prompt quyết định nó nghĩ mình được phép làm gì. Đội harness-hub của Hugging Face đã xem trọng điều đó: thay vì huấn luyện một mô hình tốt hơn, họ huấn luyện một adapter LoRA nhỏ cho từng harness trên nền một mô hình cơ sở duy nhất, phục vụ cả ba từ một máy chủ suy luận, và cho phép nhà phát triển hoán đổi vào adapter được huấn luyện bên trong agent mà họ thực sự dùng.

3
các harness được huấn luyện — pi, opencode, hermes — từ một mô hình cơ sở
8
số lần rollout cho mỗi tác vụ trước khi nhóm được chấm điểm
10–20ms
để kiểm tra dựa trên quy tắc ở mọi lần gọi công cụ

Một bộ trọng số, ba chính sách

Mỗi mô hình được một vLLM phục vụ. Ba trainer của nó, mỗi harness một trainer, chỉ định tên adapter riêng của mình trong mọi yêu cầu, nhờ đó trọng số gốc chỉ được nạp một lần. Sau một bước gradient, một trainer nạp adapter mới của mình bên cạnh adapter hiện tại: các yêu cầu đang chạy sẽ hoàn tất trên phiên bản cũ, nên không có gì bị tạm dừng.

Cách sắp xếp này hiệu quả vì các rollout chiếm phần lớn thời gian, chứ không phải các bước gradient. Một phiên dành phần lớn thời gian trong sandbox, nên một lần chạy trước đây tốn khoảng 35 giây mỗi bước cho lượt truyền xuôi và truyền ngược, so với vài phút chờ đợi. Với LFM3-1.7B, ba bộ huấn luyện dùng chung một GPU và luân phiên nhau thay vì mỗi bộ ngồi không.

Một tác vụ chỉ tham gia hàng đợi khi cả tám rollout của nó đều được chấm điểm, vì GRPO học từ việc so sánh. Một bước đóng gói công việc đó vào bốn micro-batch dưới một ngân sách token, nên nó chứa nhiều phiên ngắn hoặc ít phiên dài, và các rollout bị cũ hơn bốn adapter sẽ bị loại bỏ.

  1. Các rollout nắm giữ đồng hồ

    Bộ huấn luyện duy trì tối đa 48 phiên chạy; một tác vụ chỉ vào hàng đợi khi cả tám rollout của nó đều được chấm điểm.

  2. Nhóm được so sánh

    GRPO cần cả hai nửa của nhóm: một số rollout đạt, một số trượt, và phần chênh lệch chính là gradient.

  3. Bước gom những gì đã hoàn tất

    Bốn micro-batch trong một ngân sách token — 131.072 token cho mô hình 24B, 65.536 token cho hai mô hình còn lại.

  4. Adapter được hoán đổi khi đang tải

    Các yêu cầu đang chạy sẽ hoàn tất trên phiên bản cũ; các rollout cũ hơn quá bốn adapter sẽ bị loại bỏ.

Một bước gradient chứa những gì, từ phiên harness đến adapter mới.

RL tìm ra lối tắt, nên họ đặt một rào chắn phía trước

Phần thưởng là bộ kiểm định riêng của tác vụ cộng với 0,1 × (1 − số lần gọi ÷ 15) trên các rollout đúng, để ưu tiên câu trả lời cần ít công cụ hơn. Đó là một lời mời gọi: một chính sách được trả công khi vượt qua các bài kiểm tra sẽ tìm cách đọc các bài kiểm tra. Vì vậy mọi lệnh gọi công cụ đều đi qua safeagents, một reverse proxy nói được cả API của OpenAI lẫn Anthropic và chạy trên một luồng của bộ huấn luyện.

Ba giai đoạn, hoàn toàn bằng quy tắc và không dùng mô hình, trả lời trong 10 đến 20 mili giây. Lệnh gọi phải dùng một công cụ mà yêu cầu đã khai báo và phải đến một máy chủ xuất hiện trong cuộc hội thoại, trong đó các lượt trước đó của chính mô hình không được tính. Sau đó, cuộc hội thoại được quét để tìm hành vi can thiệp phần thưởng, chỉnh sửa bài kiểm tra, tra cứu điểm chuẩn và vượt qua proxy. Một lệnh gọi bị chặn được thay bằng một thông báo và lượt rollout nhận điểm bằng không — và vì token id và logprob đi qua nguyên vẹn, GRPO vẫn huấn luyện trên lần thử đó và đẩy nó xuống.

TwIL-8B, một mô hình suy luận chưa từng được huấn luyện trên dữ liệu tác tử, đã thử điều đó ở bước 0: thay vì tính ra đáp án, nó đi tìm bucket nơi dữ liệu của tác vụ được đưa vào, và bị chặn. Một ablation 50 bước với cơ chế bảo vệ được bật đã làm held-out pass@1 thay đổi +0.0 ± 4.1 điểm. Nó không tốn gì, và cũng chẳng chứng minh được gì về độ chính xác.

Các tác vụ đến từ đâu

Môi trường đến từ các phiên mà mọi người đã công bố trên Hub. Mỗi môi trường được chuyển thành một trajectory, được sàng lọc để phát hiện rò rỉ benchmark, được phát lại trên một hệ thống tệp ảo, rồi được phân loại bằng các quy tắc dựa trên các lệnh mà nó đã ghi lại, mã thoát của chúng và các tệp ngay trước mỗi lệnh.

  1. Sàng lọc và phát lại

    Các quỹ đạo được kiểm tra xem có bị giả mạo và rò rỉ hay không, và mọi thao tác ghi tệp đều được áp dụng để mỗi lệnh có các tệp mà nó thực sự đã thấy.

  2. Phân loại phiên

    Các quy tắc về mã thoát và yêu cầu của người dùng: một bước kiểm tra từng thất bại rồi sau đó đã đạt, một dự án được xây dựng từ yêu cầu đầu tiên, một thay đổi sau đó, một dữ kiện được tính toán.

  3. Soạn đề kiểm tra

    Một mô hình giáo viên viết hợp đồng giao diện, một stub và các bài kiểm tra ẩn; 259 trong số 270 nhiệm vụ có chúng.

  4. Chỉ giữ lại những gì được chứng minh

    Oracle phải đạt toàn bộ phần thưởng hai lần, trong khi một stub, một không gian làm việc trống hoặc việc giả mạo phải nhận điểm không.

Sáu bước, một LLM và một quy tắc loại bỏ bất kỳ nhiệm vụ nào mà phiên gốc không thể chứng minh.

Đáp án không phải do giáo viên tạo ra. Mỗi tác vụ đi kèm một oracle lấy từ trajectory, nơi công việc đã diễn ra và vượt qua các kiểm tra của nó: giáo viên viết đề thi, phiên cung cấp đáp án dùng để chấm nó.

build253 nhiệm vụ
sửa chữa11 nhiệm vụ
mở rộng6 nhiệm vụ
QA0 nhiệm vụ
94% của bản phát hành là các nhiệm vụ build, vì các quỹ đạo được chia sẻ chủ yếu là các phiên một lần.
1,950
các môi trường ứng viên được tìm thấy trong các phiên chia sẻ
270
các nhiệm vụ được giữ lại — oracle đã đạt phần thưởng tối đa hai lần
253
trong số đó là các nhiệm vụ build
dễ179 nhiệm vụ
trung bình61 nhiệm vụ
khó30 nhiệm vụ
Độ khó được đặt dựa trên tần suất mô hình 24B giải được nhiệm vụ, nên sự kết hợp nghiêng về mức trung bình.

Nó có giá trị gì, và không phải là gì

Chín checkpoint của LFM2.5-24B-A2B, 1.350 phiên agent, chạy trong một job H200 duy nhất dưới một giờ với khoảng 5 USD thời gian GPU. Việc hợp nhất từng checkpoint thành trọng số đầy đủ và phục vụ lần lượt từng cái sẽ tốn khoảng 90 USD, và theo cách này, điểm số đo lường adapter đúng như khi nó được huấn luyện.

Adapter, tất cả checkpoint cùng một lúc5 USD
Trọng số đã hợp nhất, được phục vụ từng cái một90 USD
Cùng các checkpoint, cùng các tác vụ held-out. Phần tiết kiệm nằm ở hình thức phục vụ.

Thứ chuyển giao được không phải là adapter mà là hình dạng: giữ lại các phiên mà agent của bạn đã chạy, làm sạch chúng, biến chúng thành các tác vụ có thể kiểm chứng, huấn luyện một adapter rank-32 bên trong harness bạn dùng, và đặt một lớp bảo vệ dựa trên quy tắc trước mọi lệnh gọi công cụ — bởi vì ngay khi bạn trả tiền cho hành vi, policy sẽ tìm cách rẻ nhất để tạo ra nó.

Đội đang thiếu đúng những phiên sẽ sửa được hỗn hợp: công việc bị hỏng rồi được sửa, và các dự án lớn dần qua nhiều yêu cầu. Hai hình dạng đó chiếm 6% bản phát hành này.


Hugging Face, "Bộ điều hợp harness: RL an toàn cho phát triển tác tử hiệu quả", xuất bản ngày 6 tháng 11 năm 2026. Các số liệu, số lượng tác vụ, siêu tham số và bản ghi các cuộc gọi bị chặn là theo công bố của các tác giả; chi phí chạy và phần thưởng là những con số họ báo cáo, không được đo lường độc lập.

TÁC GIẢ

Về ABN Asia: Ai-Banking-NetworkSecurity (ABN), ABN Asia được thành lập từ năm 2012, là một công ty xuất phát từ học thuật, do những giảng viên, cựu du học sinh Hungary, Hà Lan, Nga, Đức, và Nhật Bản sáng lập. Chúng tôi chia sẻ đam mê chung và tầm nhìn vững chắc về công nghệ, mang đến sự đổi mới và chất lượng đỉnh cao cho khách hàng. Phương châm của chúng tôi là: Tốt hơn. Nhanh hơn. An toàn hơn. Trong nhiều trường hợp: Rẻ hơn.

Hãy liên hệ với chúng tôi khi Quý doanh nghiệp có các nhu cầu về dịch vụ công nghệ thông tin, tư vấn chuyển đổi số, tìm kiếm các giải pháp phần mềm phù hợp, hoặc nếu Quý doanh nghiệp có đấu thầu CNTT (RFP) để chúng tôi tham dự. Quý doanh nghiệp có thể liên hệ với chúng tôi qua địa chỉ email [email protected]. Chúng tôi sẵn lòng hỗ trợ với mọi nhu cầu công nghệ của Quý doanh nghiệp.

ABNAsia.org

© ABN ASIA