ข้อเสนอเรื่องโมเดลขนาดเล็กของ Karpathy ถึงบททดสอบแล้ว: โมเดลขนาด 8.8B ที่ทำได้ 93% ของการเขียนโค้ดระดับแนวหน้า

Andrej Karpathy โต้แย้งว่าโมเดลขนาด 1B สามารถทำได้ดีกว่า LLM ส่วนใหญ่ในปัจจุบัน เพราะความฉลาดไม่เคยเป็นความรู้เลย TwIL-8B แบบเปิดเผยน้ำหนักของ webAI ซึ่งมี 8.8 พันล้านพารามิเตอร์ ทำคะแนนด้านการเขียนโค้ดได้ 93% ของคะแนนระดับแนวหน้า และ 92% ในการปฏิบัติตามคำสั่ง แต่ยังตามหลังอย่างมากในแบบทดสอบวัดความรู้

ข้อโต้แย้งของ Andrej Karpathy เกี่ยวกับโมเดลขนาดเล็กไม่ใช่ว่าขนาดเล็กกว่าจะดีกว่า แต่เป็นว่าสิ่งที่โมเดลในปัจจุบันใช้ความจุส่วนใหญ่ไปกับนั้นไม่ใช่สติปัญญา

เขาเขียนว่า “โมเดล 1B สามารถมีประสิทธิผลได้มากกว่า LLM ในปัจจุบันส่วนใหญ่” “โมเดลในปัจจุบัน 90% สิ้นเปลืองความจุและเงินจำนวนมหาศาลไปกับการจดจำสิ่งที่ไม่สำคัญ”

พูดให้ตรง ๆ ข้อกล่าวอ้างก็คือ สัดส่วนใหญ่ของสิ่งที่โมเดลสมัยใหม่เรียนรู้คือข้อความที่จดจำไว้ และส่วนที่ใช้เหตุผลจริงนั้นเล็กกว่าตัวโมเดลที่บรรจุมันอยู่มาก Karpathy ได้ย้ำข้อโต้แย้งนี้ในรูปแบบต่าง ๆ ตลอดทั้งปี และสัปดาห์นี้โมเดลน้ำหนักเปิดขนาด 8.8B จาก webAI ได้มอบบททดสอบที่วัดผลได้ให้กับข้อกล่าวอ้างนี้

ข้อกล่าวอ้างทั้งห้า

จุดยืนของ Karpathy แบ่งออกเป็นห้าส่วน

สติปัญญาไม่เคยเป็นความรู้ ตัดอินเทอร์เน็ตที่จดจำไว้ออกไปและเก็บส่วนที่ใช้เหตุผลไว้ สิ่งที่เหลืออยู่คือแกนทางปัญญา และมันมีขนาดเล็ก

แกนหลักอาจพอดีกับพารามิเตอร์ประมาณ 1 พันล้านตัว หรืออาจน้อยกว่านั้น ถ้อยคำของเขาล้อชื่อเรื่องของฟายน์แมนว่า “ยังมีพื้นที่อีกมากที่ด้านล่าง” ในกรอบความคิดของเขา อุตสาหกรรมกำลังจ่ายเงินซื้อห้องสมุด ในขณะที่สิ่งที่ต้องการจริง ๆ คือสมอง

ขนาดไม่ใช่คอขวดอีกต่อไป สิ่งที่ทำให้เอเจนต์ทำงานได้คือเครื่องมือที่มันเรียกใช้ได้ และวงจรป้อนกลับรัดกุมแค่ไหน ไม่ใช่จำนวนพารามิเตอร์

ความฉลาดอยู่ในระบบ ไม่ใช่อยู่ในค่าน้ำหนัก โมเดลดิบเป็นเหมือนซีพียูที่ไม่มีระบบปฏิบัติการ; แกนหลักเล็ก ๆ ที่อยู่ในฮาร์เนสที่ดี เอาชนะโมเดลยักษ์ที่ทำงานลำพังได้

คุณเป็นเจ้าของมันได้ โมเดลบนฮาร์ดแวร์ของคุณเองคือโมเดลที่ไม่มีใครสามารถจำกัดอัตราการใช้งาน ขึ้นราคา หรือยกเลิกการสนับสนุนได้

สิ่งที่การทดสอบแสดงให้เห็น

webAI เปิดตัว TwIL-8B ซึ่งเป็นโมเดลการให้เหตุผลขนาด 8.79 พันล้านพารามิเตอร์ ที่ผ่านการฝึกภายหลังจาก Granite 4.2 8B ของ IBM ด้วยการปรับแต่งแบบมีผู้กำกับด้วยพารามิเตอร์ทั้งหมดและการเรียนรู้แบบเสริมกำลัง GRPO จากนั้นเข้าสู่ขั้นตอน RL ที่คำนึงถึงความยาวเพิ่มเติม ซึ่งให้รางวัลกับเส้นทางการให้เหตุผลที่สั้นกว่า

ในการเปรียบเทียบที่เผยแพร่ TwIL-8B ทำคะแนนได้ 93% ของคะแนนสูงสุดระดับแนวหน้าบน LiveCodeBench ด้านการเขียนโค้ด, 92% บน IFBench ด้านการทำตามคำสั่ง, 90% บน HMMT พฤศจิกายน 2025 และ 88% บน AIME 2026 โดยได้ 98.2 บน MATH-500 และ 81.6 บน LiveCodeBench ซึ่งห่างจาก GPT-5.5, Claude Opus 4.8 และ Grok 4.3 อยู่ระหว่าง 2.9 ถึง 6.2 คะแนน และมันเอาชนะ Claude Opus 4.8 บน IFBench ได้ 12.2 คะแนน

นอกจากนี้ยังรันได้ในเครื่อง: 8.79 พันล้านพารามิเตอร์ใน bfloat16 หรือบิลด์ Q4_K_M ขนาด 4.98 GiB สำหรับ CPU หรือ GPU ระดับพอประมาณ

ประเด็นสำคัญคือสิ่งที่กรอบแนวคิดของ Karpathy ทำนายไว้พอดี TwIL-8B ไม่ใช่โมเดลที่เน้นความรู้ GPQA Diamond อยู่ที่ 70.2 ต่ำกว่ากลุ่มแนวหน้าประมาณ 20 ถึง 23 คะแนน HLE อยู่ที่ 12.6 หรือประมาณ 26% ของคะแนนสูงสุดของกลุ่มแนวหน้า MMLU-Pro อยู่ที่ 76.5 ในชุดการแข่งขันที่ยากที่สุด HMMT กุมภาพันธ์ 2026 คะแนนลดลงเหลือ 69% ของกลุ่มแนวหน้า

ความแตกต่างนี้คือข้อโต้แย้งในรูปแบบย่อ เมื่อเกณฑ์วัดให้คะแนนกับความรู้ที่จัดเก็บไว้ โมเดลขนาดเล็กจะแพ้ เมื่อเกณฑ์วัดให้คะแนนกับการให้เหตุผลและการปฏิบัติตามคำสั่ง โมเดลจะไล่ตามจนเหลือต่างกันเพียงไม่กี่คะแนนด้วยขนาดที่เล็กกว่ามาก

ข้อควรระวังมีอยู่จริง

การ์ดโมเดลนี้เปิดเผยอย่างตรงไปตรงมาอย่างผิดปกติเกี่ยวกับสิ่งที่ตัวเลขไม่ได้แสดงให้เห็น

คะแนนของคู่แข่งไม่ได้ถูกนำมารันใหม่ คะแนนเหล่านั้นมาจากการ์ดของผู้ขายและการประเมินโดยบุคคลที่สาม ซึ่งมีพรอมป์ต์ การสุ่มตัวอย่าง และงบโทเคนของตนเอง ชุด AIME และ HMMT มีโจทย์ 30 ถึง 33 ข้อ ดังนั้นโจทย์หนึ่งข้อจึงมีค่าประมาณสามคะแนน และช่องว่างขนาดนั้นอยู่ในช่วงความคลาดเคลื่อน (noise) หลายแถวของ TwIL-8B เองถูกวัดบนเวอร์ชัน verbose และยังไม่ได้รันบนเวอร์ชัน balanced SWE-bench การใช้เครื่องมือ และงานแบบ agentic ไม่ได้ถูกประเมินเลย สัญญาอนุญาตเป็นสัญญาอนุญาตแบบไม่ใช้เชิงพาณิชย์ของ webAI ไม่ใช่สัญญาอนุญาตโอเพนซอร์ส

และมันยังละเอียดเกินจำเป็น: ประมาณ 19,500 โทเค็นเอาต์พุตต่อปัญหา AIME 2026 หนึ่งข้อ ซึ่งroughly four times what GPT-5.5 spends → ประมาณสี่เท่าของที่ GPT-5.5 ใช้

สิ่งที่มันเปลี่ยนแปลง

ข้อกล่าวอ้างที่สี่และห้าของ Karpathy คือสิ่งที่รีลีสนี้ทดสอบจริง ๆ โมเดลที่ทำงานได้ในหน่วยความจำห้ากิกะไบต์คือโมเดลที่ทีมสามารถติดตั้งบนฮาร์ดแวร์ของตัวเอง เรียกใช้โดยไม่มีมิเตอร์คิดตามโทเค็น และเก็บไว้ใช้ต่อได้แม้ผู้ขายเปลี่ยนไลน์อัปของตน นั่นคือข้อโต้แย้งเรื่องความเป็นเจ้าของ และมันไม่ได้ขึ้นอยู่กับการเอาชนะโมเดลระดับแนวหน้าในทุกแถว

คำทำนายของเขาคือ ภายในสิบสองเดือน ช่องว่างระหว่างทีมที่นำโมเดลไปใช้งานบนอุปกรณ์กับทีมที่จ่ายค่าโมเดลระดับแนวหน้าแบบต่อโทเคนจะไม่ใช่เรื่องความสามารถ หาก TwIL-8B คือรูปแบบของสิ่งที่จะตามมา ความแตกแยกจะปรากฏในจุดที่การ์ดโมเดลแสดงให้เห็นอยู่แล้ว นั่นคือ การให้เหตุผลถ่ายทอดได้ดีในขนาดเล็ก แต่ความจำไม่เป็นเช่นนั้น

แหล่งที่มา: Andrej Karpathy; การ์ดโมเดล TwIL-8B ของ webAI บน Hugging Face

ติดต่อ: [email protected]

โปรดทราบว่าเวอร์ชันภาษาไทยได้รับการช่วยเหลือจาก AI ดังนั้นอาจมีข้อผิดพลาดเล็กน้อย

ผู้เขียน

Ai-Banking-NetworkSecurity (ABN), ABN ASIA ถูกก่อตั้งขึ้นโดยคนที่มีรากฐานลึกในวงการวิชาการ มีประสบการณ์การทำงานในสหรัฐอเมริกา ดัตช์ ฮังการี ญี่ปุ่น เกาหลีใต้ สิงคโปร์ และเวียดนาม ABN Asia เป็นที่เราพบกันของวิทยาลัยและเทคโนโลยี ด้วยโซลูชันขั้นสูงและบริการพัฒนาซอฟต์แวร์ที่มีความสามารถ เราช่วยธุรกิจเติบโตและเข้าสู่ฉากโลก ความมุ่งมั่นของเรา: ด่วนขึ้น ดีขึ้น น่าเชื่อถือมากขึ้น ในกรณีส่วนมาก: ราคาถูกด้วย

หากคุณต้องการบริการ IT การให้คำปรึกษาดิจิทัล โซลูชันซอฟต์แวร์ใช้ได้หรือหากคุณต้องการส่งคำขอข้อเสนอ (RFPs) อย่าลังเลที่จะติดต่อเรา คุณสามารถติดต่อเราได้ที่ [email protected] เราพร้อมช่วยเหลือคุณด้านทุกความต้องกรทางเทคโนโลยีของคุณทุกเมื่อ