Tăng tốc suy luận LLM với giải mã suy đoán

Bạn có nhớ MSN Messenger không?

Giải mã Dự đoán là gì?

Đó là một kỹ thuật sử dụng mô hình nháp (SLM) để làm việc cùng với LLM chính:

1️⃣ Mô hình nháp dự đoán K token tiếp theo.

2️⃣ LLM chính xác minh và sửa chữa chúng khi cần thiết.

3️⃣ Nếu có sự không khớp, LLM tiếp tục chuỗi, và mô hình nháp khởi động lại với đầu vào được cập nhật.

Tại sao nó hoạt động:

• Nhanh hơn gấp 3 lần cho việc hoàn thành mã.

• Nhanh hơn gấp 2 lần cho tóm tắt, tạo văn bản và hướng dẫn.

Mô hình Nháp Đã được Huấn luyện Trước:

• Llama-3.1-8B-FastDraft-150M

• Phi-3-mini-FastDraft-50M

Tại sao nó quan trọng:

Nó làm cho LLMs nhanh hơn, hiệu quả hơn, và sẵn sàng cho các nhiệm vụ thực tế.

TÁC GIẢ

Về ABN Asia: AiUTOMATING PEOPLE, ABN Asia được thành lập từ năm 2012, là một công ty xuất phát từ học thuật, do những giảng viên, cựu du học sinh Hungary, Hà Lan, Nga, Đức, và Nhật Bản sáng lập. Chúng tôi chia sẻ đam mê chung và tầm nhìn vững chắc về công nghệ, mang đến sự đổi mới và chất lượng đỉnh cao cho khách hàng. Phương châm của chúng tôi là: Tốt hơn. Nhanh hơn. An toàn hơn. Trong nhiều trường hợp: Rẻ hơn.

Hãy liên hệ với chúng tôi khi Quý doanh nghiệp có các nhu cầu về dịch vụ công nghệ thông tin, tư vấn chuyển đổi số, tìm kiếm các giải pháp phần mềm phù hợp, hoặc nếu Quý doanh nghiệp có đấu thầu CNTT (RFP) để chúng tôi tham dự. Quý doanh nghiệp có thể liên hệ với chúng tôi qua địa chỉ email [email protected]. Chúng tôi sẵn lòng hỗ trợ với mọi nhu cầu công nghệ của Quý doanh nghiệp.

© ABN ASIA