LLMs: องค์กรเริ่มเปลี่ยนไปใช้โมเดลขนาดเล็ก

77% ของการใช้งาน AI ในองค์กร ใช้โมเดลขนาดเล็ก มีจำนวนพารามิเตอร์น้อยกว่า 13 พันล้าน

Databricks ในรายงานประจำปี State of Data + AI ได้ตีพิมพ์ผลสำรวจนี้ ซึ่งพบว่ามีผลการสำรวจที่น่าสนใจหลายประการ โดยเฉพาะอย่างยิ่งโมเดลขนาดใหญ่ ที่มีพารามิเตอร์ 100 พันล้านตัวขึ้นไป ปัจจุบันคิดเป็นประมาณ 15% ของการนำไปใช้งาน

ในเดือนสิงหาคม เราได้ถามผู้ซื้อในระดับองค์กรว่า "กราฟิกการ์ดของคุณทำอะไรให้คุณในวันนี้บ้าง" พวกเขาแสดงความกังวลเกี่ยวกับผลตอบแทนจากการลงทุน (ROI) ในการใช้โมเดลขนาดใหญ่บางตัว โดยเฉพาะอย่างยิ่งในการใช้งานจริง

ราคาของผู้ให้บริการอินเฟอร์เรนซ์ที่ได้รับความนิยมแสดงให้เห็นถึงการเพิ่มขึ้นของราคาที่เพิ่มขึ้นตามฟังก์ชันของพารามิเตอร์ของโมเดล

แต่มีเหตุผลอื่น ๆ นอกเหนือจากต้นทุนในการใช้โมเดลขนาดเล็ก

ประการแรก ประสิทธิภาพของโมเดลขนาดเล็กได้รับการปรับปรุงอย่างมาก โดยมีโมเดลขนาดเล็กบางตัวที่ใกล้เคียงกับความสำเร็จของโมเดลขนาดใหญ่ ความแตกต่างในต้นทุนหมายความว่าโมเดลขนาดเล็กสามารถทำงานได้หลายครั้งเพื่อยืนยัน เช่น AI Mechanical Turk

ประการที่สอง ความหน่วงของโมเดลขนาดเล็กมีค่าครึ่งหนึ่งของโมเดลขนาดกลาง และน้อยกว่าโมเดลขนาดใหญ่ถึง 70%

ความหน่วงสูงหมายถึงประสบการณ์ผู้ใช้ที่ไม่ดี ผู้ใช้ไม่ชอบที่จะรอ

โมเดลขนาดเล็กเป็นนวัตกรรมที่สำคัญสำหรับองค์กรที่สามารถใช้ประโยชน์จากประสิทธิภาพที่คล้ายกันในราคาที่น้อยกว่าสองอันดับ และความหน่วงที่น้อยกว่าครึ่งหนึ่ง

ไม่แปลกใจที่ผู้สร้างมองว่าโมเดลขนาดเล็กเป็นโมเดลที่เล็กแต่แข็งแกร่ง

หมายเหตุ: ผมได้ละทิ้งมิติเพิ่มเติมของโมเดลผสมผสานผู้เชี่ยวชาญเพื่อให้ประเด็นนี้ชัดเจนขึ้น

มีหลายวิธีในการวัดความหน่วง ไม่ว่าจะเป็นเวลาสู่โทเค็นแรกหรือความหน่วงระหว่างโทเค็น

โปรดทราบว่าเวอร์ชันภาษาไทยได้รับการช่วยเหลือจาก AI ดังนั้นอาจมีข้อผิดพลาดเล็กน้อย

ผู้เขียน

Ai Base Network (ABN), ABN ASIA ถูกก่อตั้งขึ้นโดยคนที่มีรากฐานลึกในวงการวิชาการ มีประสบการณ์การทำงานในสหรัฐอเมริกา ดัตช์ ฮังการี ญี่ปุ่น เกาหลีใต้ สิงคโปร์ และเวียดนาม ABN Asia เป็นที่เราพบกันของวิทยาลัยและเทคโนโลยี ด้วยโซลูชันขั้นสูงและบริการพัฒนาซอฟต์แวร์ที่มีความสามารถ เราช่วยธุรกิจเติบโตและเข้าสู่ฉากโลก ความมุ่งมั่นของเรา: ด่วนขึ้น ดีขึ้น น่าเชื่อถือมากขึ้น ในกรณีส่วนมาก: ราคาถูกด้วย

หากคุณต้องการบริการ IT การให้คำปรึกษาดิจิทัล โซลูชันซอฟต์แวร์ใช้ได้หรือหากคุณต้องการส่งคำขอข้อเสนอ (RFPs) อย่าลังเลที่จะติดต่อเรา คุณสามารถติดต่อเราได้ที่ [email protected] เราพร้อมช่วยเหลือคุณด้านทุกความต้องการทางเทคโนโลยีของคุณทุกเมื่อ