RAG traditionnel vs. HyDE, expliqué visuellement.

Un problème critique avec le système RAG traditionnel est que les questions ne sont pas semblables d'un point de vue sémantique à leurs réponses.

Considérez que vous souhaitez trouver une phrase similaire à « Qu'est-ce que ML ? ».

Il est probable que « Qu'est-ce que l'IA ? » soit plus similaire à celle-ci que « L'apprentissage automatique est amusant. »

En raison de cette dissimilarité sémantique, plusieurs contextes non pertinents sont récupérés lors de l'étape de récupération.

HyDE résout ce problème.

L'image suivante montre comment il diffère des RAG traditionnels.

Voici comment cela fonctionne :

• Utilisez un LLM pour générer une réponse hypothétique H pour la requête Q (cette réponse n'a pas besoin d'être entièrement correcte).

• Intégrez la réponse à l'aide d'un modèle contriever pour obtenir E (les bi-encodeurs formés à l'aide de l'apprentissage par contraste sont célèbres pour être utilisés ici).

• Utilisez l'intégration E pour interroger la base de données vectorielle et récupérer le contexte pertinent (C).

• Passez la réponse hypothétique H + contexte récupéré C + requête Q au LLM pour produire une réponse.

C'est fait !

Bien sûr, la réponse générée hypothétiquement contiendra probablement des détails hallucinés.

Mais cela n'affecte pas gravement les performances en raison du modèle contriever - l'un qui intègre.

Plus précisément, ce modèle est formé à l'aide de l'apprentissage par contraste et il fonctionne également comme un compresseur quasi sans perte dont la tâche est de filtrer les détails hallucinés du document factice.

Cela produit une intégration vectorielle qui est censée être plus similaire aux intégrations des documents réels que la question ne l'est aux documents réels.

Plusieurs études ont montré que HyDE améliore les performances de récupération par rapport au modèle d'intégration traditionnel.

Mais cela se fait au prix d'une latence accrue et d'une utilisation plus importante du LLM.

Veuillez noter que la version française est assistée par Ai, des erreurs mineures peuvent donc exister.

Auteur

AiUTOMATING PEOPLE, ABN ASIA a été fondée par des personnes ayant des racines profondes dans le milieu académique, avec une expérience professionnelle aux États-Unis, aux Pays-Bas, en Hongrie, au Japon, en Corée du Sud, à Singapour et au Vietnam. ABN ASIA est l'endroit où l'académie et la technologie rencontrent l'opportunité. Avec nos solutions de pointe et nos services de développement logiciel compétents, nous aidons les entreprises à se développer et à s'imposer sur la scène mondiale. Notre engagement : Plus vite. Mieux. Plus fiable. Dans la plupart des cas : moins cher également.

N'hésitez pas à nous contacter chaque fois que vous avez besoin de services informatiques, de conseils en matière de numérique, de solutions logicielles prêtes à l'emploi, ou si vous souhaitez nous envoyer des demandes de propositions (RFP). Vous pouvez nous contacter à l'adresse [email protected]. Nous sommes prêts à vous aider avec tous vos besoins technologiques.

© ABN ASIA