สิ่งที่สำคัญในทรานส์ฟอร์เมอร์

What Matters In Transformers? เป็นบทความที่น่าสนใจซึ่งพบว่าสามารถลบชั้นความสนใจได้ครึ่งหนึ่งจาก LLMs เช่น Llama โดยไม่ส่งผลกระทบต่อประสิทธิภาพการสร้างแบบจำลอง

แนวคิดนี้ค่อนข้างง่าย ผู้เขียนลบชั้นความสนใจ ชั้น MLP หรือบล็อกทรานส์ฟอร์เมอร์ทั้งหมด:

การลบบล็อกทรานส์ฟอร์เมอร์ทั้งหมดทำให้ประสิทธิภาพลดลงอย่างมาก
การลบชั้น MLP ทำให้ประสิทธิภาพลดลงอย่างมาก
การลบชั้นความสนใจทำให้ประสิทธิภาพลดลงเพียงเล็กน้อย!

ใน Llama 2 70B แม้ว่าจะลบชั้นความสนใจครึ่งหนึ่ง (ซึ่งทำให้เร็วขึ้น 48%) แต่ก็ทำให้ประสิทธิภาพลดลงเพียง 2.4% เท่านั้น ผู้เขียนยังเพิ่มผลลัพธ์ของ Llama 3 ลงในบทความด้วย ซึ่งมีลักษณะคล้ายกัน

ชั้นความสนใจไม่ได้ถูกลบแบบสุ่ม แต่ลบตามคะแนนความคล้ายคลึงกันแบบโคไซน์: หากข้อมูลเข้าและข้อมูลออกมีความคล้ายคลึงกันมาก ชั้นนั้นจึงไม่จำเป็นและสามารถลบได้

ผลลัพธ์นี้น่าสนใจมากและอาจสามารถผสมผสานกับเทคนิคการบีบอัดแบบจำลองต่างๆ (เช่น การตัดแต่งและปริมาณ) เพื่อให้เกิดผลกระทบรวมกัน

นอกจากนี้ ชั้นเหล่านี้ถูกลบแบบ one-shot (ไม่ใช่แบบ iterative) และไม่ต้องฝึกอบรมใหม่หลังจากการลบ อย่างไรก็ตาม การฝึกอบรมแบบจำลองใหม่หลังจากการลบอาจช่วยให้ฟื้นประสิทธิภาพที่สูญเสียไปได้

โดยรวมแล้ว เป็นการศึกษาที่ง่ายแต่น่าสนใจมาก มีแนวโน้มว่าอาจมีการใช้คำนวณที่เกินความจำเป็นในโครงสร้างขนาดใหญ่

อย่างไรก็ตาม มีข้อจำกัดสำคัญของการศึกษานี้คือ มุ่งเน้นไปที่มาตรฐานการประเมินเชิงวิชาการ (HellaSwag, MMLU ฯลฯ) ไม่ชัดเจนว่าแบบจำลองมีประสิทธิภาพอย่างไรในการประเมินประสิทธิภาพการสนทนา

โปรดทราบว่าเวอร์ชันภาษาไทยได้รับการช่วยเหลือจาก AI ดังนั้นอาจมีข้อผิดพลาดเล็กน้อย

ผู้เขียน

Ai Base Network (ABN), ABN ASIA ถูกก่อตั้งขึ้นโดยคนที่มีรากฐานลึกในวงการวิชาการ มีประสบการณ์การทำงานในสหรัฐอเมริกา ดัตช์ ฮังการี ญี่ปุ่น เกาหลีใต้ สิงคโปร์ และเวียดนาม ABN Asia เป็นที่เราพบกันของวิทยาลัยและเทคโนโลยี ด้วยโซลูชันขั้นสูงและบริการพัฒนาซอฟต์แวร์ที่มีความสามารถ เราช่วยธุรกิจเติบโตและเข้าสู่ฉากโลก ความมุ่งมั่นของเรา: ด่วนขึ้น ดีขึ้น น่าเชื่อถือมากขึ้น ในกรณีส่วนมาก: ราคาถูกด้วย

หากคุณต้องการบริการ IT การให้คำปรึกษาดิจิทัล โซลูชันซอฟต์แวร์ใช้ได้หรือหากคุณต้องการส่งคำขอข้อเสนอ (RFPs) อย่าลังเลที่จะติดต่อเรา คุณสามารถติดต่อเราได้ที่ [email protected] เราพร้อมช่วยเหลือคุณด้านทุกความต้องการทางเทคโนโลยีของคุณทุกเมื่อ