大型语言模型编排框架

人们常常会问是否应该使用LangChain或LlamaIndex，那么所有这些工具呢？

这些框架的强大不仅在于它们能做什么，还在于它们能教会我们什么。

我过去很喜欢 Langchain，主要是因为它的文档结构化地教育用户关于 LLM 管道编排，并展示了他们如何构建解决方案来实现这些管道。某种程度上，所有现有的框架都采取了自己的独特方法来解决 LLM 管道编排的复杂性。

全面了解这些框架提供的不同能力是一个真正的学习体验，了解如何构建 LLM 应用程序，了解典型的困难以及如何解决这些问题。

这些框架的能力有很多重叠之处，但我倾向于根据它们的特长来区分它们：

微编排：我把微编排定义为对个别 LLM 交互和相关进程的细粒度协调和管理。它更多地关注数据如何在单个任务或一组相关任务中流入、流经和流出 LLM 的细节。它涉及以下内容：
提示工程
输入预处理和输出后处理
处理模型特定参数和配置
在单个逻辑操作中链接多个 LLM 调用
在任务特定级别集成外部工具或 API

LangChain、LlamaIndex、Haystack 和 AdalFlow 是微编排的最佳例子。

宏编排：它更多地关注复杂工作流程的高级设计、协调和管理，这些工作流程可能包含多个 LLM 交互，以及其他 AI 和非 AI 组件。它关注更大的系统或应用程序的整体结构和流程。

这是一个较新的编排系统类型，LangGraph、Haystack、LlamaIndex Workflows 和 Burr 似乎正在引领潮流。

代理设计框架：这些框架专注于创建和管理能够执行复杂任务的自治或半自治 AI 代理，这些任务通常涉及多个步骤、决策和与其他代理或系统的交互：

大多数框架都有自己的代理设计方法，但 Autogen 和 CrewAI 倾向于通过独特的角度来解决问题。

优化框架：这些框架使用算法方法，通常受反向传播等技术的启发，来优化 LLM 应用程序中的提示、输出和整体系统性能。优化过程通常由特定的性能指标或目标指导。

这是一个较新的编排器类别，由 DSPY 和 TextGrad 等框架领导。据我所知，AdalFlow 目前是该领域最成熟的框架。

请注意，中文版本是由 AI 辅助翻译的，因此可能存在细微错误。

作者

Ai Base Network (ABN), ABN ASIA由具有深厚学术背景的人员创立，他们在美国、荷兰、匈牙利、日本、韩国、新加坡和越南等国家有工作经验。ABN Asia是学术界和技术相遇的地方。凭借我们领先的解决方案和优秀的软件开发服务，我们帮助企业提升水平，走向全球舞台。我们的承诺：更快。更好。更可靠。在大多数情况下：也更便宜。

无论您需要IT服务、数字咨询、现成软件解决方案，还是想向我们发送招标要求（RFPs），都请随时与我们联系。您可以通过[email protected]与我们联系。我们随时准备为您提供所有技术需求的帮助。