LLMs mit Datenbanken zu erweitern ist großartig, aber dieser Ansatz weist große Mängel auf

"LLMs mit Datenbanken zu erweitern ist großartig, aber dieser Ansatz weist große Mängel auf! Wir sehen heutzutage viele Debatten über die Feinabstimmung im Vergleich zur Retriever Augmented Generation (RAG) mit LLMs. Die Erweiterung von LLMs mit kleinen zusätzlichen Daten ist mit RAG besser möglich, aber es ist wichtig, die Mängel dieses Ansatzes zu verstehen!

Bei ABN mussten wir uns während unserer Arbeit an MyAi Buratino mit mehreren Problemen im Zusammenhang mit den aktuellen LLM-Qualitätsproblemen auseinandersetzen. Das Feld ist für unsere Erwartungen und für den Einsatz in Unternehmen einfach zu früh. Daher musste ABN erhebliche Anstrengungen unternehmen, um darauf aufzubauen.

Die Idee bei RAG besteht darin, die Daten, die Sie Ihrem LLM zur Verfügung stellen möchten, in Einbettungen zu kodieren und diese Daten in einer Vektordatenbank zu indizieren. Wenn ein Benutzer eine Frage stellt, wird diese in eine Einbettung umgewandelt und wir können damit nach ähnlichen Einbettungen in der Datenbank suchen. Sobald wir ähnliche Einbettungen gefunden haben, erstellen wir eine Eingabeaufforderung mit den zugehörigen Daten, um einem LLM den Kontext zur Beantwortung der Frage bereitzustellen. Die Ähnlichkeit wird hier normalerweise mithilfe der Kosinus-Ähnlichkeitsmetrik gemessen.

Das erste Problem besteht darin, dass eine Frage in der Regel semantisch nicht mit ihren Antworten übereinstimmt. Zumindest ist es möglich, dass bei der Suche Dokumente gefunden werden, die dieselben Wörter wie die Frage enthalten oder im selben Kontext verwendet werden, ohne relevante Informationen zur Beantwortung der Frage bereitzustellen. Da die Suche abhängig von den Daten die Dokumente abruft, die der Frage am ähnlichsten sind, kann es sein, dass zu viele irrelevante Dokumente eine höhere Kosinusähnlichkeit aufweisen als die Dokumente, die tatsächlich die Antwort enthalten.

Fairerweise muss man sagen, dass eine hohe Kosinusähnlichkeit nicht unbedingt zu einer semantischen Ähnlichkeit mit Transformers führt. Eine hohe Kosinusähnlichkeit kann auch das häufige gleichzeitige Auftreten zweier verschiedener Begriffe innerhalb desselben Untertexts der Trainingsdaten erfassen, was häufig bei einer bestimmten Frage und der zugehörigen Antwort der Fall ist.

Ein weiteres Problem hängt möglicherweise mit der Art und Weise zusammen, wie die Daten indiziert wurden. Wenn die Daten in große Textblöcke zerlegt wurden, ist es wahrscheinlich, dass jeder Textblock mehrere unterschiedliche und voneinander unabhängige Informationen enthält. Wenn Sie eine Ähnlichkeitssuche für diese Daten durchführen, werden die relevanten Informationen möglicherweise verwässert und die Suche liefert möglicherweise stattdessen irrelevante Dokumente. Es ist wichtig, die Daten so aufzuschlüsseln, dass jeder Block nicht mehr als ein paar Absätze enthält, um eine größere „Einzigartigkeit der in jedem Text entwickelten Konzepte zu gewährleisten.

Beim RAG-Ansatz ist es sehr wichtig, die Art der Fragen, die wir dem LLM stellen, einzuschränken. Wenn wir Fragen stellen, die das Aggregieren von Daten aus der gesamten Datenbank erfordern, werden die Antworten höchstwahrscheinlich falsch sein, aber das LLM wird das nicht wissen können. Wenn die richtigen Informationen in einem oder mehreren Dokumenten lokal vorhanden sind, kann eine Ähnlichkeitssuche sie möglicherweise finden. Wenn die Informationen jedoch das Durchsuchen aller Dokumente erfordern, um die Antwort zu finden, wird sie bei einer Ähnlichkeitssuche nicht gefunden. Stellen Sie sich vor, dass jedes Dokument datiert ist und wir fragen: „Welches ist das älteste Dokument?. In diesem Fall können wir die Antwort nur herausfinden, wenn wir die gesamte Datenbank scannen, und eine Ähnlichkeitssuche ist nicht hilfreich."

Bitte beachten Sie, dass die französische Version von Ai unterstützt wird und daher geringfügige Fehler auftreten können.

AUTOR

Über ABN Asia: Ai Base Network (ABN), ABN Asia wurde im Jahr 2012 gegründet und ist ein Unternehmen mit akademischem Hintergrund, das von Lehrkräften und ehemaligen Studierenden aus Ungarn, den Niederlanden, Russland, Deutschland und Japan gegründet wurde. Wir teilen eine gemeinsame Leidenschaft und eine klare Vision für Technologie, die Innovation und erstklassige Qualität für unsere Kunden bringt. Unser Motto lautet: Besser. Schneller. Sicherer. In vielen Fällen: Günstiger.

Zögern Sie nicht, uns zu kontaktieren, wenn Sie IT-Dienstleistungen, digitale Beratung, Standardsoftwarelösungen benötigen oder uns Angebotsanfragen (RFPs) senden möchten. Sie können uns unter [email protected] kontaktieren. Wir sind bereit, Ihnen bei all Ihren Technologiebedürfnissen zu helfen.

© ABN ASIA