Các mô hình ngôn ngữ lớn (LLM) tạo ra văn bản như thế nào?

Đó không phải là một nhiệm vụ tầm thường.

Việc tạo văn bản không phải là một nhiệm vụ đơn giản! Các mô hình ngôn ngữ lớn (LLM) được tối ưu hóa để dự đoán xác suất của token tiếp theo, nhưng làm thế nào để chúng ta tạo văn bản với điều đó?

Cách tiếp cận đơn giản là sử dụng vector xác suất do mô hình tạo ra, chọn từ có xác suất cao nhất và tự động hồi quy. Đây là cách tiếp cận tham lam, nhưng điều này có xu hướng tạo ra các câu lặp lại và suy thoái khi chúng quá dài. Một cách tiếp cận khác là sử dụng các xác suất do mô hình tạo ra và thực hiện lấy mẫu các từ dựa trên những xác suất đó. Thông thường, chúng ta sử dụng tham số nhiệt độ để điều chỉnh mức độ ngẫu nhiên của quá trình này. Điều này cho phép tạo ra các câu ít lặp lại và sáng tạo hơn.

Nhưng hai kỹ thuật đó có một vấn đề. Khi chúng ta tạo ra một câu, chúng ta muốn tối đa hóa xác suất của toàn bộ chuỗi đầu ra chứ không chỉ token tiếp theo:

P(Chuỗi đầu ra | Lời nhắc)

May mắn thay, chúng ta có thể biểu diễn xác suất này như một tích của các xác suất để dự đoán token tiếp theo:

P(token 1, .., token N | Lời nhắc) = P(token 1| Lời nhắc) x ... P(token N |Lời nhắc, token 1, ..., token N - 1)

Nhưng giải quyết chính xác vấn đề này là một vấn đề NP-khó. Vì vậy, thay vào đó, chúng ta có thể xấp xỉ vấn đề bằng cách chọn k token ứng viên ở mỗi lần lặp, kiểm tra chúng và giữ lại k chuỗi tối đa hóa xác suất của toàn bộ chuỗi. Cuối cùng, chúng ta chỉ chọn chuỗi có xác suất cao nhất. Đây được gọi là tìm kiếm Beam và có thể kết hợp với cách tiếp cận tham lam và đa thức.

Một cách tiếp cận khác là tìm kiếm đối lập, nơi chúng ta xem xét các chỉ số bổ sung như tính lưu loát hoặc đa dạng. Ở mỗi lần lặp, chúng ta chọn các token ứng viên, phạt các xác suất với một chỉ số tương đồng của các token đã được tạo trước đó, và chọn các token tối đa hóa điểm số mới.

TÁC GIẢ

Về ABN Asia: AiUTOMATING PEOPLE, ABN Asia được thành lập từ năm 2012, là một công ty xuất phát từ học thuật, do những giảng viên, cựu du học sinh Hungary, Hà Lan, Nga, Đức, và Nhật Bản sáng lập. Chúng tôi chia sẻ đam mê chung và tầm nhìn vững chắc về công nghệ, mang đến sự đổi mới và chất lượng đỉnh cao cho khách hàng. Phương châm của chúng tôi là: Tốt hơn. Nhanh hơn. An toàn hơn. Trong nhiều trường hợp: Rẻ hơn.

Hãy liên hệ với chúng tôi khi Quý doanh nghiệp có các nhu cầu về dịch vụ công nghệ thông tin, tư vấn chuyển đổi số, tìm kiếm các giải pháp phần mềm phù hợp, hoặc nếu Quý doanh nghiệp có đấu thầu CNTT (RFP) để chúng tôi tham dự. Quý doanh nghiệp có thể liên hệ với chúng tôi qua địa chỉ email [email protected]. Chúng tôi sẵn lòng hỗ trợ với mọi nhu cầu công nghệ của Quý doanh nghiệp.

© ABN ASIA