Augmenter les LLM avec des bases de données est une bonne chose, mais cette approche présente des défauts majeurs.

"Augmenter les LLM avec des bases de données est une bonne chose, mais cette approche présente des défauts majeurs ! Nous assistons ces jours-ci à de nombreux débats autour du réglage fin par rapport à la génération augmentée du Retriever (RAG) avec les LLM. Augmenter les LLM avec de petites données supplémentaires est mieux servi par RAG, mais il est important de comprendre les inconvénients de cette approche !

Chez ABN, lors de notre travail sur MyAi Buratino, nous avons dû faire face à de multiples problèmes liés aux problèmes de qualité actuels du LLM. Ce domaine est tout simplement trop précoce pour nos attentes et pour une utilisation en entreprise. Par conséquent, ABN a dû déployer des efforts considérables pour construire beaucoup de choses par-dessus.

L'idée avec RAG est d'encoder les données que vous souhaitez exposer à votre LLM dans des intégrations et d'indexer ces données dans une base de données vectorielle. Lorsqu'un utilisateur pose une question, celle-ci est convertie en intégration et nous pouvons l'utiliser pour rechercher des intégrations similaires dans la base de données. Une fois que nous avons trouvé des intégrations similaires, nous construisons une invite avec les données associées pour fournir un contexte permettant à un LLM de répondre à la question. Ici, la similarité est généralement mesurée à l'aide de la métrique de similarité cosinus.

Le premier problème est qu'une question n'est généralement pas sémantiquement similaire à ses réponses. Au moins, il est possible que la recherche récupère des documents contenant les mêmes mots que la question ou qui sont utilisés dans le même contexte sans fournir d'informations pertinentes pour répondre à la question. Étant donné que la recherche récupère les documents les plus similaires à la question, en fonction des données, trop de documents non pertinents peuvent présenter une similarité cosinus plus élevée que les documents contenant réellement la réponse.

Pour être juste, une similarité cosinus élevée ne se traduit pas exactement par une similarité sémantique avec Transformers. Une similarité cosinusoïdale élevée peut également capturer la forte cooccurrence de 2 termes différents dans le même sous-texte des données d'entraînement, ce qui se produit souvent pour une question spécifique et sa réponse associée.

Un autre problème peut être lié à la manière dont les données ont été indexées. Si les données ont été divisées en gros morceaux de texte, elles contiendront probablement plusieurs informations différentes et sans rapport au sein de chaque morceau. Si vous effectuez une recherche de similarité sur ces données, les informations pertinentes peuvent être diluées et la recherche peut renvoyer des documents non pertinents. Il est important de décomposer les données de manière à ce que chaque morceau ne contienne pas plus de quelques paragraphes afin de garantir plus de « caractère unique » aux concepts développés dans chaque texte.

Avec l'approche RAG, il est très important de limiter le type de questions que nous posons au LLM. Si nous posons des questions qui nécessitent d'agréger des données dans toute la base de données, les réponses seront probablement fausses, mais le LLM ne pourra pas le savoir. Si la bonne information est locale à un ou quelques documents, une recherche de similarité peut la trouver. Cependant, si l'information nécessite de scanner tous les documents pour trouver la réponse, une recherche de similarité ne la trouvera pas. Imaginez que chaque document soit daté et que nous demandions : « Quel est le document le plus ancien ? ». Dans ce cas, nous ne pouvons connaître la réponse que si nous analysons l'intégralité de la base de données, et une recherche de similarité ne sera pas utile."

Veuillez noter que la version française est assistée par Ai, des erreurs mineures peuvent donc exister.

Auteur

AiUTOMATING PEOPLE, ABN ASIA a été fondée par des personnes ayant des racines profondes dans le milieu académique, avec une expérience professionnelle aux États-Unis, aux Pays-Bas, en Hongrie, au Japon, en Corée du Sud, à Singapour et au Vietnam. ABN ASIA est l'endroit où l'académie et la technologie rencontrent l'opportunité. Avec nos solutions de pointe et nos services de développement logiciel compétents, nous aidons les entreprises à se développer et à s'imposer sur la scène mondiale. Notre engagement : Plus vite. Mieux. Plus fiable. Dans la plupart des cas : moins cher également.

N'hésitez pas à nous contacter chaque fois que vous avez besoin de services informatiques, de conseils en matière de numérique, de solutions logicielles prêtes à l'emploi, ou si vous souhaitez nous envoyer des demandes de propositions (RFP). Vous pouvez nous contacter à l'adresse [email protected]. Nous sommes prêts à vous aider avec tous vos besoins technologiques.

© ABN ASIA