Cadres d'orchestration de modèles de langage LLM

Les gens demandent souvent s'ils doivent utiliser LangChain ou LlamaIndex. Et les deux ?

Le pouvoir de ces cadres n'est pas seulement dans ce qu'ils peuvent faire, mais aussi dans ce qu'ils peuvent nous apprendre !

J'appréciais beaucoup Langchain, principalement parce que la documentation était structurée pour éduquer les utilisateurs sur l'orchestration des pipelines de LLM et montrait comment ils abordaient la construction d'une solution pour mettre en œuvre ces pipelines. Dans une certaine mesure, tous les cadres existants ont adopté leur propre approche opinée pour fournir des solutions aux complexités entourant l'orchestration des pipelines de LLM.

Obtenir une vue d'ensemble large des différentes capacités offertes par ces cadres est une véritable expérience d'apprentissage en termes de ce que signifie construire des applications LLM, quels sont les difficultés typiques et comment y faire face.

Il existe de nombreuses chevauchements dans les capacités des différents cadres, mais je tends à les séparer en fonction de leurs spécialités :

• Micro-orchestration : je fais référence à la micro-orchestration comme la coordination et la gestion fines des interactions LLM individuelles et des processus associés. Il s'agit davantage des détails granulaires de la manière dont les données entrent, traversent et sortent des LLM dans une seule tâche ou un petit ensemble de tâches liées. Cela implique des choses comme :

• L'ingénierie de requêtes

• Le prétraitement des entrées et le post-traitement des sorties

• La gestion des paramètres et des configurations spécifiques au modèle

• La chaîne de plusieurs appels LLM dans une seule opération logique

• L'intégration d'outils ou d'API externes à un niveau de tâche spécifique

Les meilleurs exemples en sont LangChain, LlamaIndex, Haystack et AdalFlow.

• Macro-orchestration : il s'agit davantage de la conception, de la coordination et de la gestion de workflows complexes qui peuvent incorporer plusieurs interactions LLM, ainsi que d'autres composants IA et non-IA. Il se concentre sur la structure et le flux globaux des systèmes ou des applications plus larges.

Il s'agit d'un type plus récent de système d'orchestration, et LangGraph, Haystack, LlamaIndex Workflows et Burr semblent être à la tête de ce mouvement.

• Cadres de conception agentic : ces cadres se concentrent sur la création et la gestion d'agents IA autonomes ou semi-autonomes qui peuvent effectuer des tâches complexes, souvent impliquant plusieurs étapes, la prise de décision et l'interaction avec d'autres agents ou systèmes :

La plupart des cadres ont leur propre approche de la conception agentic, mais Autogen et CrewAI tendent à se démarquer en ayant un angle unique sur le problème.

• Cadres d'optimisation : ces cadres utilisent des approches algorithmiques, souvent inspirées de techniques comme la rétropropagation, pour optimiser les requêtes, les sorties et les performances globales des systèmes dans les applications LLM. Le processus d'optimisation est généralement guidé par des métriques de performance spécifiques ou des objectifs.

Il s'agit d'une catégorie plus récente d'orchestrateurs, et elle a été menée par des cadres comme DSPY et TextGrad. À ma connaissance, AdalFlow est actuellement le cadre le plus mature dans ce domaine.

Veuillez noter que la version française est assistée par Ai, des erreurs mineures peuvent donc exister.

Auteur

AiUTOMATING PEOPLE, ABN ASIA a été fondée par des personnes ayant des racines profondes dans le milieu académique, avec une expérience professionnelle aux États-Unis, aux Pays-Bas, en Hongrie, au Japon, en Corée du Sud, à Singapour et au Vietnam. ABN ASIA est l'endroit où l'académie et la technologie rencontrent l'opportunité. Avec nos solutions de pointe et nos services de développement logiciel compétents, nous aidons les entreprises à se développer et à s'imposer sur la scène mondiale. Notre engagement : Plus vite. Mieux. Plus fiable. Dans la plupart des cas : moins cher également.

N'hésitez pas à nous contacter chaque fois que vous avez besoin de services informatiques, de conseils en matière de numérique, de solutions logicielles prêtes à l'emploi, ou si vous souhaitez nous envoyer des demandes de propositions (RFP). Vous pouvez nous contacter à l'adresse [email protected]. Nous sommes prêts à vous aider avec tous vos besoins technologiques.

© ABN ASIA