RAG truyền thống so với HyDE, được giải thích bằng hình ảnh.

Một vấn đề quan trọng với hệ thống RAG truyền thống là các câu hỏi không có sự tương đồng ngữ nghĩa với câu trả lời của chúng.

Giả sử bạn muốn tìm một câu tương tự như "ML là gì?".

Có khả năng "AI là gì?" giống với nó hơn là "Học máy rất thú vị."

Do sự khác biệt về ngữ nghĩa này, nhiều ngữ cảnh không liên quan được truy xuất trong bước truy xuất.

HyDE giải quyết vấn đề này.

Hình ảnh sau đây mô tả cách nó khác biệt so với RAG truyền thống.

Đây là cách nó hoạt động:

Sử dụng một LLM để tạo ra câu trả lời giả định H cho truy vấn Q (câu trả lời này không cần phải hoàn toàn chính xác).
Nhúng câu trả lời bằng mô hình contriever để lấy E (Bi-encoders được huấn luyện bằng học đối kháng nổi tiếng được sử dụng ở đây).
Sử dụng nhúng E để truy vấn cơ sở dữ liệu vector và lấy ngữ cảnh liên quan (C).
Chuyển câu trả lời giả định H + ngữ cảnh đã truy xuất C + truy vấn Q cho LLM để tạo ra câu trả lời.

Xong!

Tất nhiên, câu trả lời giả định sẽ có khả năng chứa các chi tiết tưởng tượng.

Nhưng điều này không ảnh hưởng nghiêm trọng đến hiệu suất do mô hình contriever—một mô hình nhúng.

Cụ thể hơn, mô hình này được huấn luyện bằng học đối kháng và nó cũng hoạt động như một bộ nén gần như không mất dữ liệu có nhiệm vụ lọc ra các chi tiết tưởng tượng của tài liệu giả.

Điều này tạo ra một nhúng vector được kỳ vọng là giống với nhúng của các tài liệu thực tế hơn là câu hỏi so với các tài liệu thực.

Nhiều nghiên cứu đã chỉ ra rằng HyDE cải thiện hiệu suất truy xuất so với mô hình nhúng truyền thống.

Nhưng điều này đi kèm với chi phí tăng độ trễ và sử dụng LLM nhiều hơn.

TÁC GIẢ

Về ABN Asia: Ai Base Network (ABN), ABN Asia được thành lập từ năm 2012, là một công ty xuất phát từ học thuật, do những giảng viên, cựu du học sinh Hungary, Hà Lan, Nga, Đức, và Nhật Bản sáng lập. Chúng tôi chia sẻ đam mê chung và tầm nhìn vững chắc về công nghệ, mang đến sự đổi mới và chất lượng đỉnh cao cho khách hàng. Phương châm của chúng tôi là: Tốt hơn. Nhanh hơn. An toàn hơn. Trong nhiều trường hợp: Rẻ hơn.

Hãy liên hệ với chúng tôi khi Quý doanh nghiệp có các nhu cầu về dịch vụ công nghệ thông tin, tư vấn chuyển đổi số, tìm kiếm các giải pháp phần mềm phù hợp, hoặc nếu Quý doanh nghiệp có đấu thầu CNTT (RFP) để chúng tôi tham dự. Quý doanh nghiệp có thể liên hệ với chúng tôi qua địa chỉ email [email protected]. Chúng tôi sẵn lòng hỗ trợ với mọi nhu cầu công nghệ của Quý doanh nghiệp.