Cách LLM Nhìn Thế Giới

Khi bạn nhập "Xin chào thế giới" vào ChatGPT hoặc Claude, mô hình không xử lý các chữ cái và khoảng trắng như bạn đang đọc bài đăng này. Thay vào đó, nó chuyển mọi thứ thành số thông qua một quá trình mà hầu hết mọi người không bao giờ nghĩ đến.

Trước tiên là tiền xử lý. Văn bản được chuẩn hóa. Các ký tự Unicode, khoảng cách kỳ lạ và các biểu tượng đặc biệt, tất cả đều được làm sạch và tiêu chuẩn hóa. "Xin chào thế giới" trở thành một định dạng nhất quán mà mô hình có thể thực sự làm việc với nó.

Tiếp theo là phân tích từ. Đây là nơi mọi thứ trở nên thú vị. Mô hình chia văn bản thành các từ, và có những cách tiếp cận khác nhau.

1 - Phân tích từ dựa trên ký tự chia mọi thứ thành các ký tự riêng lẻ. "Xin chào thế giới" trở thành ["X", "i", "n", " ", "c", "h", "à", "o", " ", "t", "h", "ế", " ", "g", "i", "ớ", "i"]. Đơn giản nhưng không hiệu quả.

2 - Phân tích từ dựa trên từ chia văn bản thành các từ hoàn chỉnh. ["Xin chào", "thế giới"]. Sạch sẽ nhưng gặp khó khăn với các từ hiếm và tạo ra từ vựng khổng lồ.

3 - Phân tích từ dựa trên phụ từ là gì mà các mô hình ngôn ngữ lớn hiện đại thực sự sử dụng. GPT, Gemini, Claude, tất cả đều dựa vào điều này. "Xin chào thế giới" trở thành một thứ gì đó như ["Xin", "ch", "ào", "th", "ế", "gi", "ớ", "i"]. Nó cân bằng giữa hiệu quả và linh hoạt, xử lý các từ hiếm bằng cách chia chúng thành các mảnh phụ từ đã biết.

Bước cuối cùng là ID từ. Các phụ từ đó được ánh xạ đến các số như [15496, 345, 995]. Mỗi ID từ tương ứng với một vector nhúng bên trong mô hình. Đó là thứ mà mạng nơ-ron thực sự xử lý.

TÁC GIẢ

Về ABN Asia: Ai Base Network (ABN), ABN Asia được thành lập từ năm 2012, là một công ty xuất phát từ học thuật, do những giảng viên, cựu du học sinh Hungary, Hà Lan, Nga, Đức, và Nhật Bản sáng lập. Chúng tôi chia sẻ đam mê chung và tầm nhìn vững chắc về công nghệ, mang đến sự đổi mới và chất lượng đỉnh cao cho khách hàng. Phương châm của chúng tôi là: Tốt hơn. Nhanh hơn. An toàn hơn. Trong nhiều trường hợp: Rẻ hơn.

Hãy liên hệ với chúng tôi khi Quý doanh nghiệp có các nhu cầu về dịch vụ công nghệ thông tin, tư vấn chuyển đổi số, tìm kiếm các giải pháp phần mềm phù hợp, hoặc nếu Quý doanh nghiệp có đấu thầu CNTT (RFP) để chúng tôi tham dự. Quý doanh nghiệp có thể liên hệ với chúng tôi qua địa chỉ email [email protected]. Chúng tôi sẵn lòng hỗ trợ với mọi nhu cầu công nghệ của Quý doanh nghiệp.