发布于

提示工程已经死了,万岁上下文工程

作者

Image

(好吧,不完全是死了——但它绝对正在演变成更强大的东西)

来认识一下上下文工程——构建动态系统的艺术,这些系统为大型语言模型(LLM)提供了它们成功所需的所有东西。

当我们从简单的聊天机器人转向复杂的AI代理时,我们意识到聪明的提示是不够的。重要的是编排一个完整的信息生态系统,这些信息流入您的LLM。

那么,这到底是什么意思?

这意味着构建动态系统,以提供正确的信息和工具,以正确的格式,使LLM能够合理地完成任务。

上下文工程系统的解剖结构包括:

  • 用户信息:偏好、历史和个性化数据
  • 工具使用:API、计算器、搜索引擎——LLM需要的任何东西来完成任务
  • RAG上下文:从Weaviate等向量数据库中检索的信息
  • 用户输入:实际的查询或任务
  • 代理推理:LLM的思维过程和决策链
  • 聊天历史:提供连续性的之前的交互

但是关于内存架构呢?

  • 短期内存:存活在上下文窗口中,处理当前对话
  • 长期内存:存储在向量数据库(如Weaviate)中,持久化用户偏好和过去的交互,跨会话

为什么这很重要?因为当代理系统失败时,很少是因为模型不够聪明。相反,是因为我们没有给它正确的上下文。

格式也很重要。一个结构良好的错误消息比一个巨大的JSON块更好。就像人类一样,LLM需要清晰、易于理解的通信。

请注意,中文版本是由 AI 辅助翻译的,因此可能存在细微错误。

作者

Ai Base Network (ABN), ABN ASIA由具有深厚学术背景的人员创立,他们在美国、荷兰、匈牙利、日本、韩国、新加坡和越南等国家有工作经验。ABN Asia是学术界和技术相遇的地方。凭借我们领先的解决方案和优秀的软件开发服务,我们帮助企业提升水平,走向全球舞台。我们的承诺:更快。更好。更可靠。在大多数情况下:也更便宜。

无论您需要IT服务、数字咨询、现成软件解决方案,还是想向我们发送招标要求(RFPs),都请随时与我们联系。您可以通过[email protected]与我们联系。我们随时准备为您提供所有技术需求的帮助。

ABNAsia.org

© ABN ASIA