Hầu hết các LLM hiện đại đều sử dụng kiến ​​trúc Hỗn hợp các chuyên gia

"Hầu hết các LLM hiện đại đều sử dụng kiến ​​trúc Hỗn hợp các chuyên gia ...và việc triển khai nó khá đơn giản! Cách triển khai này khá giống với cách bạn có thể tìm thấy trong Mistral 7B.

Trong trường hợp đó, ""chuyên gia"" chỉ là một mạng chuyển tiếp nguồn cấp dữ liệu đơn giản và chúng tôi có bộ định tuyến chịu trách nhiệm định tuyến mã thông báo đến chuyên gia phù hợp. Để định tuyến, chúng tôi chỉ có một lớp tuyến tính ánh xạ từ trạng thái ẩn đến xác suất được liên kết với từng chuyên gia và chúng tôi chỉ chọn các chuyên gia liên quan đến các xác suất đó. Các trạng thái ẩn thu được chỉ là tổng trọng số của kết quả đầu ra của các chuyên gia đó. Đơn giản thế thôi!"

TÁC GIẢ

Về ABN Asia: AiUTOMATING PEOPLE, ABN Asia được thành lập từ năm 2012, là một công ty xuất phát từ học thuật, do những giảng viên, cựu du học sinh Hungary, Hà Lan, Nga, Đức, và Nhật Bản sáng lập. Chúng tôi chia sẻ đam mê chung và tầm nhìn vững chắc về công nghệ, mang đến sự đổi mới và chất lượng đỉnh cao cho khách hàng. Phương châm của chúng tôi là: Tốt hơn. Nhanh hơn. An toàn hơn. Trong nhiều trường hợp: Rẻ hơn.

Hãy liên hệ với chúng tôi khi Quý doanh nghiệp có các nhu cầu về dịch vụ công nghệ thông tin, tư vấn chuyển đổi số, tìm kiếm các giải pháp phần mềm phù hợp, hoặc nếu Quý doanh nghiệp có đấu thầu CNTT (RFP) để chúng tôi tham dự. Quý doanh nghiệp có thể liên hệ với chúng tôi qua địa chỉ email [email protected]. Chúng tôi sẵn lòng hỗ trợ với mọi nhu cầu công nghệ của Quý doanh nghiệp.

© ABN ASIA