Llama 3 là một màn quảng bá khá tốt cho Meta

"Llama 3 là một màn quảng bá khá hay cho Meta! Thử nghiệm Llama giống như một nỗ lực được ghi chép rõ ràng để bắt kịp OpenAI và Google khi nói đến GenAI. Meta lại trở thành hạng người tốt trong mắt công chúng!

Llama 1 là mô hình được đào tạo trước (https://lnkd.in/g3nGaGms). Nó ra mắt vào tháng 2 năm 2023 và tương đương với GPT-3 của OpenAI ra mắt vào năm 2020. Có cảm giác như Llama đang thử và thiết lập nền tảng cho công việc trong tương lai. Llama 1 đã sử dụng 1 nghìn tỷ token, một cơ chế tiết kiệm bộ nhớ và tập trung vào các kiến ​​trúc nhỏ hơn so với đối thủ cạnh tranh.

Llama 2 là LLM được đào tạo để làm theo hướng dẫn (https://lnkd.in/gPhhSYND). Nó ra mắt vào tháng 7 năm 2023 và tương đương với InstructGPT của OpenAI và mô hình ban đầu được ChatGPT sử dụng vào năm 2022. Đây là mô hình tương tự như Llama 1 đã được tinh chỉnh với học tập có giám sát và học tập tăng cường. Họ tập trung vào dữ liệu chất lượng cao cho các bước tinh chỉnh và tăng bước đào tạo trước lên 2 nghìn tỷ mã thông báo.

Llama 3 về cơ bản giống với mô hình của 2 mô hình trước. Họ đã sử dụng nhiều dữ liệu hơn cho bước đào tạo trước (15 nghìn tỷ mã thông báo) và một lần nữa tập trung vào chất lượng dữ liệu cho các bước đào tạo khác nhau. Họ đã sử dụng cơ chế chú ý truy vấn được nhóm và mở rộng vốn từ vựng về mã thông báo từ 32K lên 128K. Chúng tôi đoán điều đó có ý nghĩa, vì với nhiều dữ liệu hơn, nhu cầu thường xuyên hóa sẽ ít hơn. Giờ đây, các mô hình đã được tinh chỉnh bằng LoRA và họ đã đưa ra thư viện tinh chỉnh của riêng mình (torchtune https://lnkd.in/gDbxHkp3) khi phát triển Llama 3.

Meta đã bắt kịp OpenAI và Google bằng cách thiết lập công nghệ nền tảng của riêng họ khi đào tạo LLM với trọng tâm là các mô hình nguồn mở và nhỏ hơn. Chúng tôi đoán đây chỉ là bước khởi động cho công việc thực sự sắp tới. "

TÁC GIẢ

Về ABN Asia: AiUTOMATING PEOPLE, ABN Asia được thành lập từ năm 2012, là một công ty xuất phát từ học thuật, do những giảng viên, cựu du học sinh Hungary, Hà Lan, Nga, Đức, và Nhật Bản sáng lập. Chúng tôi chia sẻ đam mê chung và tầm nhìn vững chắc về công nghệ, mang đến sự đổi mới và chất lượng đỉnh cao cho khách hàng. Phương châm của chúng tôi là: Tốt hơn. Nhanh hơn. An toàn hơn. Trong nhiều trường hợp: Rẻ hơn.

Hãy liên hệ với chúng tôi khi Quý doanh nghiệp có các nhu cầu về dịch vụ công nghệ thông tin, tư vấn chuyển đổi số, tìm kiếm các giải pháp phần mềm phù hợp, hoặc nếu Quý doanh nghiệp có đấu thầu CNTT (RFP) để chúng tôi tham dự. Quý doanh nghiệp có thể liên hệ với chúng tôi qua địa chỉ email [email protected]. Chúng tôi sẵn lòng hỗ trợ với mọi nhu cầu công nghệ của Quý doanh nghiệp.

© ABN ASIA