Les RAG ne réduisent pas les hallucinations dans les LLM

"L'article discute des limites des modèles de génération augmentée par récupération (RAG) dans la réduction des hallucinations dans les grands modèles de langage (LLM). Les RAG sont une intersection sophistiquée de techniques de récupération d'informations et d'apprentissage automatique génératif qui améliorent la génération de texte en exploitant un vaste référentiel d'informations. Cependant, malgré leur architecture avancée, les RAG ont du mal à éliminer les hallucinations, qui sont des contenus générés trompeurs ou factuellement incorrects.

Les causes profondes de cette limitation remontent aux formulations et hypothèses mathématiques complexes intégrées dans le cadre RAG. L'article souligne que la pertinence contextuelle (RAG) améliore la spécificité du domaine, et non l'hallucination. Le seul endroit où les hallucinations peuvent être abordées est au sein du LLM. La récupération est basée sur la similarité sémantique et la maximisation des probabilités logarithmiques et ne constitue pas un cadre mathématique pour la vérification formelle des faits.

L'article explique également comment les RAG sont utilisés, y compris la récupération de documents, l'intégration de contexte et la génération de texte. L'ajout de pertinence contextuelle via RAG ne réduit pas les hallucinations dans les LLM. Au lieu de cela, cela augmente les scores de pertinence sémantique, ce qui n'est pas la même chose qu'une hallucination du système. L'article suggère que les hallucinations ne peuvent être corrigées que dans le LLM lui-même, et non via les RAG.

https://medium.com/autonomous-agents/rag-does-not-reduce-hallucinations-in-llms-math-deep-dive-900107671e10"

Veuillez noter que la version française est assistée par Ai, des erreurs mineures peuvent donc exister.

Auteur

AiUTOMATING PEOPLE, ABN ASIA a été fondée par des personnes ayant des racines profondes dans le milieu académique, avec une expérience professionnelle aux États-Unis, aux Pays-Bas, en Hongrie, au Japon, en Corée du Sud, à Singapour et au Vietnam. ABN ASIA est l'endroit où l'académie et la technologie rencontrent l'opportunité. Avec nos solutions de pointe et nos services de développement logiciel compétents, nous aidons les entreprises à se développer et à s'imposer sur la scène mondiale. Notre engagement : Plus vite. Mieux. Plus fiable. Dans la plupart des cas : moins cher également.

N'hésitez pas à nous contacter chaque fois que vous avez besoin de services informatiques, de conseils en matière de numérique, de solutions logicielles prêtes à l'emploi, ou si vous souhaitez nous envoyer des demandes de propositions (RFP). Vous pouvez nous contacter à l'adresse [email protected]. Nous sommes prêts à vous aider avec tous vos besoins technologiques.

© ABN ASIA