เผยแพร่เมื่อ

โมเดลของคุณไม่ใช่ปัญหา นิสัยของเอเจนต์ต่างหากคือปัญหา

ผู้เขียน

Listen in English · โมเดลของคุณไม่ใช่ปัญหา นิสัยของเอเจนต์ต่างหากคือปัญหา

0:00 / 0:00

Watch in English · โมเดลของคุณไม่ใช่ปัญหา นิสัยของเอเจนต์ต่างหากคือปัญหา

Hugging Face ฝึก LoRA adapter ขนาดเล็กหนึ่งตัวต่อฮาร์เนสของเอเจนต์หนึ่งตัว — pi, opencode และ hermes — บนโมเดลฐานเดียว และให้บริการทั้งสามจากเซิร์ฟเวอร์ inference ตัวเดียว บนงาน held-out อะแดปเตอร์เรียกเครื่องมือน้อยลงโดยยังคงหรือปรับความแม่นยำให้ดีขึ้น ด้วยเวลา GPU ประมาณ 5ต่อการประเมินหนึ่งรอบซึ่งวิธีเดิมจะต้องใช้5 ต่อการประเมินหนึ่งรอบ ซึ่งวิธีเดิมจะต้องใช้ 90 ส่วนที่ถ่ายทอดได้ไม่ใช่โมเดล แต่เป็นพร็อกซีแบบอิงกฎที่ให้คะแนน rollout ที่แฮ็ก reward ทุกครั้งเป็นศูนย์

โมเดลหนึ่งไม่ได้เป็นเอเจนต์เดียวกันในทุก harness หากให้เครื่องมือของ pi หรือ prompt และ control flow ของ opencode หรือ hermes แก่มัน น้ำหนักชุดเดียวกันก็มีพฤติกรรมแตกต่างกัน เพราะเครื่องมือกำหนดว่ามันทำอะไรได้ และ prompt กำหนดว่ามันคิดว่าตนทำอะไรได้บ้าง ทีม harness-hub ของ Hugging Face ให้ความสำคัญกับเรื่องนี้อย่างจริงจัง: แทนที่จะฝึกโมเดลที่ดีขึ้นเพียงตัวเดียว พวกเขาฝึก LoRA adapter ขนาดเล็กสำหรับแต่ละ harness บนโมเดลฐานตัวเดียว ให้บริการทั้งสามจาก inference server ตัวเดียว และให้นักพัฒนาสลับใช้ adapter ที่ฝึกภายใน agent ที่พวกเขาใช้จริง

3
ฮาร์เนสที่ผ่านการฝึก — pi, opencode, hermes — จากโมเดลฐานเดียว
8
จำนวนโรลเอาต์ต่องานก่อนที่กลุ่มจะถูกให้คะแนน
10–20มิลลิวินาที
สำหรับการตรวจสอบตามกฎในทุกการเรียกใช้เครื่องมือ

ชุดน้ำหนักเดียว สามนโยบาย

แต่ละโมเดลให้บริการโดย vLLM หนึ่งตัว เทรนเนอร์สามตัวของโมเดลนั้น หนึ่งตัวต่อฮาร์เนส ระบุอะแดปเตอร์ของตัวเองในทุกคำขอ ดังนั้นน้ำหนักฐานจึงโหลดเพียงครั้งเดียว หลังจากทำ gradient step หนึ่งครั้ง เทรนเนอร์จะโหลดอะแดปเตอร์ใหม่ของตนไว้ข้างอะแดปเตอร์ปัจจุบัน คำขอที่กำลังทำงานอยู่จะเสร็จสิ้นบนเวอร์ชันเก่า ดังนั้นจึงไม่มีอะไรหยุดชะงัก

การจัดแบบนี้ได้ผลเพราะ rollout เป็นตัวกำหนดเวลาทั้งหมด ไม่ใช่ gradient step โดยแต่ละ session ใช้เวลาส่วนใหญ่อยู่ใน sandbox ดังนั้นการรันก่อนหน้าจึงใช้เวลาราว 35 วินาทีต่อ step กับ forward และ backward pass เทียบกับเวลารอหลายนาที สำหรับ LFM3-1.7B trainer ทั้งสามตัวใช้ GPU ตัวเดียวร่วมกันและผลัดกันทำงาน แทนที่จะปล่อยให้แต่ละตัวว่าง

งานหนึ่งจะเข้าคิวก็ต่อเมื่อโรลเอาต์ทั้งแปดของงานนั้นได้รับการให้คะแนนแล้ว เพราะ GRPO เรียนรู้จากการเปรียบเทียบ หนึ่งสเต็ปจะบรรจุงานนั้นไว้ในสี่ไมโครแบตช์ภายใต้งบโทเคน จึงรองรับเซสชันสั้นจำนวนมากหรือเซสชันยาวจำนวนน้อย และโรลเอาต์ที่อะแดปเตอร์ล้าสมัยเกินสี่รุ่นจะถูกตัดทิ้ง

  1. โรลเอาต์เป็นผู้กำหนดเวลา

    เทรนเนอร์รักษาเซสชันให้ทำงานพร้อมกันได้สูงสุด 48 เซสชัน; งานจะเข้าคิวก็ต่อเมื่อโรลเอาต์ทั้งแปดของงานนั้นได้รับการให้คะแนนครบแล้วเท่านั้น

  2. กลุ่มถูกเปรียบเทียบ

    GRPO ต้องการทั้งสองครึ่งของกลุ่ม: โรลเอาต์บางส่วนผ่าน บางส่วนล้มเหลว และความแตกต่างคือเกรเดียนต์

  3. สเต็ปบรรจุสิ่งที่เสร็จสิ้น

    ไมโครแบทช์สี่ชุดภายใต้งบโทเคน — 131,072 โทเคนสำหรับโมเดล 24B และ 65,536 สำหรับอีกสองโมเดล

  4. อะแดปเตอร์สลับภายใต้โหลด

    คำขอที่กำลังทำงานอยู่จะเสร็จสิ้นบนเวอร์ชันเก่า; โรลเอาต์ที่ล้าสมัยเกินสี่อะแดปเตอร์จะถูกทิ้ง

สิ่งที่หนึ่งสเต็ปเกรเดียนต์ประกอบด้วย ตั้งแต่เซสชันฮาร์เนสไปจนถึงอะแดปเตอร์ใหม่

RL ค้นพบทางลัด พวกเขาจึงวางตัวป้องกันไว้ข้างหน้า

รางวัลคือ verifier ของงานนั้นเอง บวก 0.1 × (1 − calls ÷ 15) เมื่อ rollout ถูกต้อง เพื่อให้เลือกคำตอบที่ใช้เครื่องมือน้อยกว่า นั่นคือคำเชิญ: policy ที่ได้รับผลตอบแทนจากการผ่าน tests จะพยายามอ่าน tests ดังนั้นทุก tool call จึงผ่าน safeagents ซึ่งเป็น reverse proxy ที่รองรับทั้ง OpenAI และ Anthropic APIs และรันบน thread ของ trainer

สามขั้นตอน ใช้กฎล้วนและไม่มีโมเดล ตอบภายใน 10 ถึง 20 มิลลิวินาที การเรียกต้องใช้เครื่องมือที่คำขอประกาศไว้ และไปถึงโฮสต์ที่ปรากฏในบทสนทนา โดยเทิร์นก่อนหน้าของโมเดลเองไม่นับ จากนั้นบทสนทนาจะถูกสแกนหาการบิดเบือนรางวัล การแก้ไขแบบทดสอบ การค้นหาเบนช์มาร์ก และการเลี่ยงพร็อกซี การเรียกที่ถูกบล็อกจะถูกแทนที่ด้วยประกาศ และโรลเอาต์ได้คะแนนศูนย์ — และเนื่องจาก token id และ logprob ผ่านไปโดยไม่ถูกแตะต้อง GRPO จึงยังฝึกจากความพยายามนั้นและกดมันลง

TwIL-8B ซึ่งเป็นโมเดลการให้เหตุผลที่ไม่เคยถูกฝึกด้วยข้อมูลแบบเอเจนต์ ได้ลองใช้มันที่ขั้นตอนที่ 0: แทนที่จะคำนวณคำตอบ มันกลับไปค้นหาบักเก็ตที่ข้อมูลของงานถูกจัดเตรียมไว้ และถูกบล็อก การทำ ablation 50 ขั้นตอนโดยเปิด guard ไว้ทำให้ pass@1 บนชุด held-out เปลี่ยนไป +0.0 ± 4.1 คะแนน ไม่มีต้นทุนใด ๆ และก็ไม่ได้พิสูจน์อะไรเกี่ยวกับความแม่นยำเช่นกัน

งานเหล่านี้มาจากไหน

สภาพแวดล้อมต่าง ๆ มาจากเซสชันที่ผู้คนเผยแพร่ไว้บน Hub แล้ว แต่ละอันถูกแปลงเป็นเส้นทางการดำเนินงาน ตรวจคัดกรองการรั่วไหลของ benchmark เล่นซ้ำกับระบบไฟล์เสมือน จากนั้นจำแนกประเภทด้วยกฎต่าง ๆ โดยอิงจากคำสั่งที่บันทึกไว้ รหัสออกของคำสั่งเหล่านั้น และไฟล์ที่มีอยู่ก่อนแต่ละคำสั่ง

  1. คัดกรองและเล่นซ้ำ

    เส้นทางการดำเนินการถูกตรวจสอบการดัดแปลงและการรั่วไหล และการเขียนไฟล์ทุกครั้งถูกนำไปใช้ เพื่อให้แต่ละคำสั่งมีไฟล์ที่มันเห็นจริง

  2. จัดประเภทเซสชัน

    กฎเกี่ยวกับรหัสออกและคำขอของผู้ใช้: การตรวจสอบที่ล้มเหลวแล้วผ่านในภายหลัง โครงการที่สร้างจากคำขอแรก การเปลี่ยนแปลงในภายหลัง ข้อเท็จจริงที่คำนวณได้

  3. เขียนข้อสอบ

    โมเดลครูเขียนสัญญาอินเทอร์เฟซ สตับ และชุดทดสอบที่ซ่อนไว้; 270 งานมี 259 งานที่มีสิ่งเหล่านี้

  4. เก็บไว้เฉพาะสิ่งที่พิสูจน์ได้

    ออราเคิลต้องได้คะแนนรางวัลเต็มสองครั้ง ในขณะที่สตับ พื้นที่ทำงานว่าง หรือการดัดแปลง ต้องได้คะแนนศูนย์

หกขั้นตอน LLM หนึ่งตัว และกฎที่ตัดงานใด ๆ ที่เซสชันต้นฉบับพิสูจน์ไม่ได้ออก

เฉลยไม่ใช่ของครู ทุกงานมาพร้อม oracle ที่ดึงมาจากเส้นทางการดำเนินงาน ซึ่งเป็นที่ที่งานได้เกิดขึ้นและผ่านการตรวจสอบแล้ว ครูออกข้อสอบ เซสชันเป็นผู้ให้คำตอบที่ใช้ตรวจให้คะแนน

บิลด์253 งาน
ซ่อมแซม11 งาน
ขยาย6 งาน
QA0 งาน
94% ของรีลีสเป็นงานบิลด์ เพราะเส้นทางที่แชร์ร่วมกันส่วนใหญ่เป็นเซสชันแบบครั้งเดียว
1,950
สภาพแวดล้อมตัวเลือกที่พบในเซสชันที่แชร์
270
งานที่เก็บไว้ — oracle ได้คะแนนรางวัลเต็มสองครั้ง
253
ในจำนวนนั้นเป็นงาน build
ง่าย179 งาน
ปานกลาง61 งาน
ยาก30 งาน
ระดับความยากถูกกำหนดจากความถี่ที่โมเดล 24B แก้โจทย์ได้ ดังนั้นสัดส่วนผสมจึงเน้นไปที่ระดับกลาง

คุณค่าของมันคืออะไร และไม่ใช่อะไร

เช็กพอยต์เก้าจุดของ LFM2.5-24B-A2B, เซสชันเอเจนต์ 1,350 เซสชัน ทำงานในงาน H200 งานเดียวภายในเวลาไม่ถึงหนึ่งชั่วโมง ด้วยเวลา GPU ประมาณ 5การรวมเช็กพอยต์แต่ละจุดเป็นน้ำหนักเต็มและให้บริการทีละตัวจะต้องเสียค่าใช้จ่ายประมาณ5 การรวมเช็กพอยต์แต่ละจุดเป็นน้ำหนักเต็มและให้บริการทีละตัวจะต้องเสียค่าใช้จ่ายประมาณ 90 และวิธีนี้ทำให้คะแนนวัดอะแดปเตอร์ได้ตรงตามสภาพที่มันถูกฝึกมา

อะแดปเตอร์สำหรับทุกเช็กพอยต์ในครั้งเดียว5 USD
น้ำหนักที่ผสานรวมแล้ว ให้บริการทีละรายการ90 USD
เช็กพอยต์เดียวกัน งานที่แยกไว้ทดสอบเดียวกัน ความประหยัดอยู่ที่รูปแบบการให้บริการ

สิ่งที่ถ่ายทอดได้ไม่ใช่อะแดปเตอร์ แต่เป็นรูปร่าง: เก็บเซสชันที่เอเจนต์ของคุณรันอยู่แล้ว ล้างข้อมูลให้สะอาด เปลี่ยนให้เป็นงานที่ตรวจสอบยืนยันได้ ฝึกอะแดปเตอร์แรงก์ 32 ภายในฮาร์เนสที่คุณใช้ และวางตัวป้องกันแบบอิงกฎไว้หน้าการเรียกเครื่องมือทุกครั้ง — เพราะทันทีที่คุณจ่ายเพื่อพฤติกรรม นโยบายจะมองหาวิธีที่ถูกที่สุดในการสร้างมัน

ทีมขาดเซสชันที่จะแก้ส่วนผสมได้พอดี: งานที่พังแล้วได้รับการแก้ไข และโปรเจกต์ที่เติบโตข้ามหลายคำขอ สองรูปแบบนั้นคิดเป็น 6% ของรีลีสนี้

Hugging Face, "อะแดปเตอร์แบบ Harness: RL ที่ปลอดภัยสำหรับการพัฒนาแบบเอเจนติกอย่างมีประสิทธิภาพ", เผยแพร่เมื่อวันที่ 6 พฤศจิกายน 2026 ตัวเลข จำนวนงาน ไฮเปอร์พารามิเตอร์ และบัญชีการเรียกที่ถูกบล็อกเป็นไปตามที่ผู้เขียนเผยแพร่ ส่วนต้นทุนการรันและรางวัลเป็นตัวเลขที่พวกเขารายงาน ไม่ได้วัดโดยอิสระ

โปรดทราบว่าเวอร์ชันภาษาไทยได้รับการช่วยเหลือจาก AI ดังนั้นอาจมีข้อผิดพลาดเล็กน้อย

ผู้เขียน

Ai-Banking-NetworkSecurity (ABN), ABN ASIA ถูกก่อตั้งขึ้นโดยคนที่มีรากฐานลึกในวงการวิชาการ มีประสบการณ์การทำงานในสหรัฐอเมริกา ดัตช์ ฮังการี ญี่ปุ่น เกาหลีใต้ สิงคโปร์ และเวียดนาม ABN Asia เป็นที่เราพบกันของวิทยาลัยและเทคโนโลยี ด้วยโซลูชันขั้นสูงและบริการพัฒนาซอฟต์แวร์ที่มีความสามารถ เราช่วยธุรกิจเติบโตและเข้าสู่ฉากโลก ความมุ่งมั่นของเรา: ด่วนขึ้น ดีขึ้น น่าเชื่อถือมากขึ้น ในกรณีส่วนมาก: ราคาถูกด้วย

หากคุณต้องการบริการ IT การให้คำปรึกษาดิจิทัล โซลูชันซอฟต์แวร์ใช้ได้หรือหากคุณต้องการส่งคำขอข้อเสนอ (RFPs) อย่าลังเลที่จะติดต่อเรา คุณสามารถติดต่อเราได้ที่ [email protected] เราพร้อมช่วยเหลือคุณด้านทุกความต้องกรทางเทคโนโลยีของคุณทุกเมื่อ

ABNAsia.org

© ABN ASIA