Các doanh nghiệp đang chuyển sang các mô hình nhỏ hơn.

77% việc sử dụng AI trong doanh nghiệp đang sử dụng các mô hình nhỏ, ít hơn 13 tỷ tham số.

Databricks, trong báo cáo thường niên State of Data + AI, đã công bố khảo sát này, trong đó có những phát hiện thú vị cho thấy các mô hình lớn, những mô hình có 100 tỷ tham số trở lên, hiện chiếm khoảng 15% các triển khai.

Vào tháng 8, chúng tôi đã hỏi những người mua doanh nghiệp "GPU của bạn đã làm gì cho bạn hôm nay?" Họ bày tỏ lo ngại về ROI khi sử dụng một số mô hình lớn hơn, đặc biệt là trong các ứng dụng sản xuất.

Giá từ một nhà cung cấp suy luận phổ biến cho thấy sự gia tăng hình học về giá cả như một hàm của các tham số cho một mô hình.

Nhưng có những lý do khác ngoài chi phí để sử dụng các mô hình nhỏ hơn.

Thứ nhất, hiệu suất của chúng đã được cải thiện rõ rệt với một số mô hình nhỏ hơn gần đạt thành công như các mô hình lớn hơn. Sự chênh lệch về chi phí có nghĩa là các mô hình nhỏ hơn có thể được chạy nhiều lần để xác minh như một AI Mechanical Turk.

Thứ hai, độ trễ của các mô hình nhỏ hơn chỉ bằng một nửa so với các mô hình cỡ trung bình và ít hơn 70% so với các mô hình lớn.

Độ trễ cao hơn là một trải nghiệm người dùng kém. Người dùng không thích chờ đợi.

Các mô hình nhỏ hơn đại diện cho một sự đổi mới đáng kể cho các doanh nghiệp nơi họ có thể tận dụng hiệu suất tương tự với chi phí ít hơn hai bậc và một nửa độ trễ.

Không có gì ngạc nhiên khi những người xây dựng coi chúng là nhỏ nhưng mạnh mẽ.

Lưu ý: Tôi đã loại bỏ chiều bổ sung của các mô hình hỗn hợp chuyên gia để làm rõ điểm này.

Có nhiều cách khác nhau để đo độ trễ, dù là thời gian đến token đầu tiên hay độ trễ giữa các token.

TÁC GIẢ

Về ABN Asia: AiUTOMATING PEOPLE, ABN Asia được thành lập từ năm 2012, là một công ty xuất phát từ học thuật, do những giảng viên, cựu du học sinh Hungary, Hà Lan, Nga, Đức, và Nhật Bản sáng lập. Chúng tôi chia sẻ đam mê chung và tầm nhìn vững chắc về công nghệ, mang đến sự đổi mới và chất lượng đỉnh cao cho khách hàng. Phương châm của chúng tôi là: Tốt hơn. Nhanh hơn. An toàn hơn. Trong nhiều trường hợp: Rẻ hơn.

Hãy liên hệ với chúng tôi khi Quý doanh nghiệp có các nhu cầu về dịch vụ công nghệ thông tin, tư vấn chuyển đổi số, tìm kiếm các giải pháp phần mềm phù hợp, hoặc nếu Quý doanh nghiệp có đấu thầu CNTT (RFP) để chúng tôi tham dự. Quý doanh nghiệp có thể liên hệ với chúng tôi qua địa chỉ email [email protected]. Chúng tôi sẵn lòng hỗ trợ với mọi nhu cầu công nghệ của Quý doanh nghiệp.

© ABN ASIA