Marco de orquestación de LLM

La gente a menudo pregunta si deben usar LangChain o LlamaIndex. ¿Y qué hay de todos ellos?

El poder de esos marcos no radica solo en lo que pueden hacer, sino también en lo que pueden enseñarnos.

Solía disfrutar bastante de Langchain, principalmente porque la documentación estaba estructurada para educar a los usuarios sobre la orquestación de pipelines de LLM y mostraba cómo abordaban la construcción de una solución para implementar esos pipelines. En cierta medida, todos los marcos existentes tomaron su propio enfoque opinado para proporcionar soluciones a las complejidades que rodean la orquestación de pipelines de LLM.

Obtener una visión general amplia de las diferentes capacidades proporcionadas por esos marcos es una experiencia de aprendizaje real en términos de lo que significa construir aplicaciones de LLM, cuáles son las dificultades típicas y cómo abordarlas.

Hay muchas superposiciones en las capacidades de los diferentes marcos, pero tiendo a separarlos por sus especialidades:

Micro-Orquestación: Me refiero a la micro-orquestación como la coordinación y gestión fina de las interacciones individuales de LLM y procesos relacionados. Se trata más de los detalles granulares de cómo fluye la información en, a través y fuera de LLM dentro de una sola tarea o un pequeño conjunto de tareas relacionadas. Incluye cosas como:
Ingeniería de prompts
Preprocesamiento de entrada y postprocesamiento de salida
Manejo de parámetros y configuraciones específicos del modelo
Encadenamiento de múltiples llamadas a LLM dentro de una sola operación lógica
Integración de herramientas o API externas a nivel de tarea específica

Los mejores ejemplos de esto son LangChain, LlamaIndex, Haystack y AdalFlow.

Macro-Orquestación: se trata más del diseño, coordinación y gestión de alto nivel de flujos de trabajo complejos que pueden incorporar múltiples interacciones de LLM, así como otros componentes de IA y no IA. Se centra en la estructura y flujo generales de sistemas o aplicaciones más grandes.

Este es un tipo más nuevo de sistema de orquestación, y LangGraph, Haystack, LlamaIndex Workflows y Burr parecen estar a la vanguardia.

Marcos de diseño agente: Estos marcos se centran en crear y gestionar agentes de IA autónomos o semiautónomos que pueden realizar tareas complejas, a menudo que involucran múltiples pasos, toma de decisiones y interacción con otros agentes o sistemas:

La mayoría de los marcos tienen su propio enfoque para el diseño agente, pero Autogen y CrewAI tienden a separarse por tener un ángulo único para el problema.

Marcos de optimización: Estos marcos utilizan enfoques algorítmicos, a menudo inspirados en técnicas como la retropropagación, para optimizar prompts, salidas y rendimiento general del sistema en aplicaciones de LLM. El proceso de optimización suele estar guiado por métricas o objetivos de rendimiento específicos.

Esta es una categoría más nueva de orquestadores, y ha sido liderada por marcos como DSPY y TextGrad. Según mi conocimiento, AdalFlow es actualmente el marco más maduro en el dominio.

Autor

Ai Base Network (ABN), ABN ASIA fue fundada por personas con profundas raíces en la academia y experiencia laboral en EE.UU., Holanda, Hungría, Japón, Corea del Sur, Singapur y Vietnam. ABN Asia es donde la academia y la tecnología encuentran oportunidades. Con nuestras soluciones innovadoras y servicios competentes de desarrollo de software, estamos ayudando a las empresas a mejorar y a enfrentarse al mercado global. Nuestro compromiso: Más rápido. Mejor. Más confiable. En la mayoría de los casos: también más económico.

No dudes en contactarnos siempre que necesites servicios de TI, consultoría digital, soluciones de software listas para usar, o si deseas enviarnos solicitudes de propuestas (RFPs). Puedes contactarnos en [email protected]. Estamos listos para ayudarte con todas tus necesidades tecnológicas.