Ồ. Apple hôm nay đã phát hành một số mô hình ngôn ngữ lớn (LLM) nguồn mở được thiết kế để chạy trên thiết bị thay vì thông qua máy chủ đám mây

"Apple hôm nay đã phát hành một số mô hình ngôn ngữ lớn (LLM) nguồn mở được thiết kế để chạy trên thiết bị thay vì thông qua các máy chủ đám mây. Được gọi là OpenELM (Mô hình ngôn ngữ hiệu quả nguồn mở), LLM có sẵn trên Hugging Face Hub, một cộng đồng chia sẻ mã AI.

Tính năng tối ưu hóa AI của Apple Silicon Siri Như đã nêu trong sách trắng [PDF], có tổng cộng tám mô hình OpenELM, bốn trong số đó đã được đào tạo trước bằng thư viện CoreNet và bốn mô hình được điều chỉnh theo hướng dẫn. Apple sử dụng chiến lược mở rộng quy mô theo lớp nhằm mục đích cải thiện độ chính xác và hiệu quả.

Apple đã cung cấp mã, nhật ký đào tạo và nhiều phiên bản thay vì chỉ mô hình được đào tạo cuối cùng và các nhà nghiên cứu đằng sau dự án hy vọng rằng nó sẽ dẫn đến tiến độ nhanh hơn và ""kết quả đáng tin cậy hơn"" trong lĩnh vực AI ngôn ngữ tự nhiên.

OpenELM, một mô hình ngôn ngữ mở tiên tiến nhất. OpenELM sử dụng chiến lược mở rộng quy mô theo lớp để phân bổ hiệu quả các tham số trong mỗi lớp của mô hình máy biến áp, giúp nâng cao độ chính xác. Ví dụ: với ngân sách tham số khoảng một tỷ tham số, OpenELM thể hiện độ chính xác được cải thiện 2,36% so với OLMo trong khi yêu cầu mã thông báo đào tạo trước ít hơn gấp 2 lần.

Khác với các phương pháp trước đó chỉ cung cấp trọng số mô hình và mã suy luận cũng như đào tạo trước trên các tập dữ liệu riêng tư, bản phát hành của chúng tôi bao gồm khung hoàn chỉnh để đào tạo và đánh giá mô hình ngôn ngữ trên các tập dữ liệu có sẵn công khai, bao gồm nhật ký đào tạo, nhiều điểm kiểm tra và tiền kiểm tra. cấu hình đào tạo.

Apple cho biết họ đang phát hành các mô hình OpenELM để trao quyền và làm phong phú thêm cộng đồng nghiên cứu mở bằng các mô hình ngôn ngữ hiện đại. Việc chia sẻ các mô hình nguồn mở cung cấp cho các nhà nghiên cứu một cách để điều tra các rủi ro, dữ liệu và các thành kiến ​​trong mô hình. Các nhà phát triển và công ty có thể sử dụng các mô hình nguyên trạng hoặc thực hiện các sửa đổi.

Việc chia sẻ thông tin một cách cởi mở đã trở thành một công cụ quan trọng để Apple tuyển dụng các kỹ sư, nhà khoa học và chuyên gia hàng đầu vì nó mang lại cơ hội cho các tài liệu nghiên cứu mà thông thường không thể được xuất bản theo chính sách bí mật của Apple.

Apple vẫn chưa đưa các loại khả năng AI này vào thiết bị của mình, nhưng iOS 18 dự kiến ​​​​sẽ bao gồm một số tính năng AI mới và có tin đồn cho thấy Apple đang có kế hoạch chạy các mô hình ngôn ngữ lớn trên thiết bị của mình vì mục đích bảo mật."

TÁC GIẢ

Về ABN Asia: AiUTOMATING PEOPLE, ABN Asia được thành lập từ năm 2012, là một công ty xuất phát từ học thuật, do những giảng viên, cựu du học sinh Hungary, Hà Lan, Nga, Đức, và Nhật Bản sáng lập. Chúng tôi chia sẻ đam mê chung và tầm nhìn vững chắc về công nghệ, mang đến sự đổi mới và chất lượng đỉnh cao cho khách hàng. Phương châm của chúng tôi là: Tốt hơn. Nhanh hơn. An toàn hơn. Trong nhiều trường hợp: Rẻ hơn.

Hãy liên hệ với chúng tôi khi Quý doanh nghiệp có các nhu cầu về dịch vụ công nghệ thông tin, tư vấn chuyển đổi số, tìm kiếm các giải pháp phần mềm phù hợp, hoặc nếu Quý doanh nghiệp có đấu thầu CNTT (RFP) để chúng tôi tham dự. Quý doanh nghiệp có thể liên hệ với chúng tôi qua địa chỉ email [email protected]. Chúng tôi sẵn lòng hỗ trợ với mọi nhu cầu công nghệ của Quý doanh nghiệp.

© ABN ASIA