- Xuất bản vào
Dùng Ai, làm sao để tiết kiệm chi phí khi văn bản quá dài?
- Tác giả
- Tên
- AbnAsia.org
- @steven_n_t
Một trong những mẹo là sử dụng LangChain một cách thông minh. LangChain có thể được thiết kế để tóm tắt văn bản với bất kỳ độ dài nào. Để tóm tắt văn bản bằng LLM, có một số chiến lược.
Nếu toàn bộ văn bản vừa với cửa sổ ngữ cảnh, bạn chỉ cần đưa dữ liệu thô vào và nhận kết quả. LangChain gọi chiến lược đó là loại "stuff" chain. Thường thì số lượng token trong văn bản lớn hơn dung lượng tối đa của LLM. Một chiến lược phổ biến là chia nhỏ dữ liệu thành nhiều đoạn, tóm tắt từng đoạn, và tóm tắt các bản tóm tắt đã được nối lại trong bước "combine" cuối cùng. LangChain gọi chiến lược này là "map-reduce".
Một chiến lược khác là bắt đầu tóm tắt với đoạn đầu tiên và tinh chỉnh từng chút một với mỗi đoạn tiếp theo. LangChain gọi đây là "refine". Ví dụ, đây là mẫu nhắc được LangChain sử dụng cho bước refine:
Nhiệm vụ của bạn là tạo ra một bản tóm tắt cuối cùng.
Chúng tôi đã cung cấp một bản tóm tắt hiện có đến một điểm nhất định: existing_answer
Chúng tôi có cơ hội để tinh chỉnh bản tóm tắt hiện có (chỉ nếu cần) với một số ngữ cảnh thêm bên dưới.
văn bản
Dựa vào ngữ cảnh mới, hãy tinh chỉnh bản tóm tắt ban đầu
Nếu ngữ cảnh không hữu ích, hãy trả lại bản tóm tắt ban đầu.
TÁC GIẢ
Về ABN Asia: AiUTOMATING PEOPLE, ABN Asia được thành lập từ năm 2012, là một công ty xuất phát từ học thuật, do những giảng viên, cựu du học sinh Hungary, Hà Lan, Nga, Đức, và Nhật Bản sáng lập. Chúng tôi chia sẻ đam mê chung và tầm nhìn vững chắc về công nghệ, mang đến sự đổi mới và chất lượng đỉnh cao cho khách hàng. Phương châm của chúng tôi là: Tốt hơn. Nhanh hơn. An toàn hơn. Trong nhiều trường hợp: Rẻ hơn.
Hãy liên hệ với chúng tôi khi Quý doanh nghiệp có các nhu cầu về dịch vụ công nghệ thông tin, tư vấn chuyển đổi số, tìm kiếm các giải pháp phần mềm phù hợp, hoặc nếu Quý doanh nghiệp có đấu thầu CNTT (RFP) để chúng tôi tham dự. Quý doanh nghiệp có thể liên hệ với chúng tôi qua địa chỉ email [email protected]. Chúng tôi sẵn lòng hỗ trợ với mọi nhu cầu công nghệ của Quý doanh nghiệp.
© ABN ASIA