Kỹ thuật thiết kế lời nhắc đã chết. Muôn năm Context Engineering

(Tất nhiên, không hoàn toàn là chết - nhưng nó chắc chắn đang phát triển thành một thứ gì đó mạnh mẽ hơn)

Hãy gặp Context Engineering - nghệ thuật xây dựng các hệ thống động giúp LLM nhận được chính xác những gì chúng cần để thành công.

Khi chúng ta chuyển từ các rô-bốt trò chuyện đơn giản sang các tác nhân AI phức tạp, chúng ta nhận ra rằng các lời nhắc thông minh không đủ. Điều quan trọng là sắp xếp một hệ sinh thái thông tin hoàn chỉnh chảy vào LLM của bạn.

Vậy điều đó có nghĩa là gì?

Đó là về việc xây dựng các hệ thống động để cung cấp thông tin và công cụ đúng định dạng để LLM có thể thực hiện nhiệm vụ một cách hợp lý.

Cấu trúc của một hệ thống được thiết kế theo ngữ cảnh bao gồm:

Thông tin người dùng: Tùy chọn, lịch sử và dữ liệu cá nhân hóa
Sử dụng công cụ: API, máy tính, công cụ tìm kiếm - bất cứ thứ gì LLM cần để hoàn thành công việc
Ngữ cảnh RAG: Thông tin được truy xuất từ cơ sở dữ liệu vector như Weaviate
Đầu vào người dùng: Truy vấn hoặc nhiệm vụ thực tế
Lý luận của tác nhân: Quá trình suy nghĩ và chuỗi quyết định của LLM
Lịch sử trò chuyện: Các tương tác trước đó cung cấp tính liên tục

Vậy kiến trúc bộ nhớ thì sao?

Bộ nhớ ngắn hạn: Nằm trong cửa sổ ngữ cảnh, xử lý các cuộc trò chuyện hiện tại
Bộ nhớ dài hạn: Lưu trữ trong cơ sở dữ liệu vector (như Weaviate), duy trì tùy chọn người dùng và các tương tác trước đó qua các phiên

Tại sao điều này lại quan trọng? Bởi vì khi các hệ thống tác nhân thất bại, hiếm khi là do mô hình không đủ thông minh. Đó là vì chúng ta chưa cung cấp cho nó ngữ cảnh đúng.

Định dạng cũng quan trọng. Một thông báo lỗi được cấu trúc tốt vượt trội hơn một khối JSON khổng lồ mọi lúc. Giống như con người, LLM cần giao tiếp rõ ràng, dễ tiêu hóa.

TÁC GIẢ

Về ABN Asia: Ai Base Network (ABN), ABN Asia được thành lập từ năm 2012, là một công ty xuất phát từ học thuật, do những giảng viên, cựu du học sinh Hungary, Hà Lan, Nga, Đức, và Nhật Bản sáng lập. Chúng tôi chia sẻ đam mê chung và tầm nhìn vững chắc về công nghệ, mang đến sự đổi mới và chất lượng đỉnh cao cho khách hàng. Phương châm của chúng tôi là: Tốt hơn. Nhanh hơn. An toàn hơn. Trong nhiều trường hợp: Rẻ hơn.

Hãy liên hệ với chúng tôi khi Quý doanh nghiệp có các nhu cầu về dịch vụ công nghệ thông tin, tư vấn chuyển đổi số, tìm kiếm các giải pháp phần mềm phù hợp, hoặc nếu Quý doanh nghiệp có đấu thầu CNTT (RFP) để chúng tôi tham dự. Quý doanh nghiệp có thể liên hệ với chúng tôi qua địa chỉ email [email protected]. Chúng tôi sẵn lòng hỗ trợ với mọi nhu cầu công nghệ của Quý doanh nghiệp.