DeepSeek และ Kimi: ทำไมพวกเขาถึงทำงานได้ดี

สิ่งใดที่ทำให้พวกเขาแสดงผลได้ดีและเร็วมาก

ว่าบทความชิ้นที่ สอง ที่ปล่อยออกมาพร้อมกับข้อมูลลับมากมายเกี่ยวกับ flywheel ของ RL และการให้เหตุผลแบบ มัลติโมดัล ในรูปแบบ o1 ไม่อยู่ในบิงโกของฉันวันนี้ บทความของ Kimi (สตาร์ทอัพอีกแห่ง) และ DeepSeek มีผลการค้นพบที่คล้ายคลึงกันอย่างน่าประหลาดใจ:

ไม่ต้องการการค้นหาต้นไม้ที่ซับซ้อนแบบ MCTS เพียงแค่แปลงเส้นทางความคิดเป็นแบบเชิงเส้นและทำการคาดการณ์แบบอัตโนมัติแบบเก่าๆ ไม่ต้องการฟังก์ชันค่าใช้จ่ายที่ต้องการสำเนาของแบบจำลองที่มีค่าใช้จ่ายสูงอีกครั้ง ไม่ต้องการการสร้างแบบจำลองรางวัลที่หนาแน่น ให้พึ่งพาผลลัพธ์จริงมากที่สุด

ความแตกต่าง:

DeepSeek ใช้วิธี AlphaZero - เริ่มต้นด้วยการเรียนรู้แบบ RL โดยไม่ต้องมีการป้อนข้อมูลจากมนุษย์ หรือ "การเริ่มต้นแบบเย็น" Kimi ใช้วิธี AlphaGo-Master: SFT ระดับเบาเพื่ออบอุ่นผ่านการสร้างข้อความแบบ CoT น้ำหนักของ DeepSeek ใช้ใบอนุญาต MIT (การเป็นผู้นำทางความคิด!) Kimi ยังไม่มีการปล่อยแบบจำลอง Kimi แสดงผลการทำงานแบบมัลติโมดัลที่แข็งแกร่ง (!) ในการทดสอบแบบเบンチมาร์ก เช่น MathVista ซึ่งต้องการความเข้าใจด้านภาพของเรขาคณิต IQ tests ฯลฯ บทความของ Kimi มีรายละเอียดมากมายเกี่ยวกับการออกแบบระบบ: โครงสร้างพื้นฐาน RL คลัสเตอร์แบบไฮบริด สandbox สำหรับโค้ด ยุทธวิธีการทำงานแบบขนาน และรายละเอียดการเรียนรู้: บริบทยาว การบีบอัด CoT หลักสูตร ยุทธวิธีการสุ่มตัวอย่าง การสร้างกรณีทดสอบ ฯลฯ

โปรดทราบว่าเวอร์ชันภาษาไทยได้รับการช่วยเหลือจาก AI ดังนั้นอาจมีข้อผิดพลาดเล็กน้อย

ผู้เขียน

Ai Base Network (ABN), ABN ASIA ถูกก่อตั้งขึ้นโดยคนที่มีรากฐานลึกในวงการวิชาการ มีประสบการณ์การทำงานในสหรัฐอเมริกา ดัตช์ ฮังการี ญี่ปุ่น เกาหลีใต้ สิงคโปร์ และเวียดนาม ABN Asia เป็นที่เราพบกันของวิทยาลัยและเทคโนโลยี ด้วยโซลูชันขั้นสูงและบริการพัฒนาซอฟต์แวร์ที่มีความสามารถ เราช่วยธุรกิจเติบโตและเข้าสู่ฉากโลก ความมุ่งมั่นของเรา: ด่วนขึ้น ดีขึ้น น่าเชื่อถือมากขึ้น ในกรณีส่วนมาก: ราคาถูกด้วย

หากคุณต้องการบริการ IT การให้คำปรึกษาดิจิทัล โซลูชันซอฟต์แวร์ใช้ได้หรือหากคุณต้องการส่งคำขอข้อเสนอ (RFPs) อย่าลังเลที่จะติดต่อเรา คุณสามารถติดต่อเราได้ที่ [email protected] เราพร้อมช่วยเหลือคุณด้านทุกความต้องกรทางเทคโนโลยีของคุณทุกเมื่อ