伝統的なRAGとHyDEの違いを視覚的に説明。

伝統的なRAGシステムには、質問とその答えが意味的に類似していないという重大な問題がある。

「What is ML?」に似た文を見つけたいとします。

「What is AI?」の方が「Machine learning is fun.」よりも似ている可能性が高いです。

この意味的不一致のため、検索ステップでいくつかの無関係なコンテキストが取得されることがあります。

HyDEはこれを解決します。

以下の図は、HyDEが従来のRAGとどのように異なるかを示しています。

ここでは、以下の手順で動作します。

LLMを使用して、質問Qに対する仮想的な答えHを生成します（この答えは完全に正確である必要はありません）。
contrieverモデルを使用して答えを埋め込み、Eを取得します（対比学習で訓練されたBi-エンコーダーがここで有名に使用されています）。
埋め込みEを使用してベクトルデータベースを検索し、関連するコンテキスト（C）を取得します。
仮想的な答えH + 取得したコンテキストC + 質問QをLLMに渡して答えを生成します。

完了！

もちろん、生成された仮想的な答えには、幻覚的な詳細が含まれている可能性があります。

しかし、これは、埋め込みを行うcontrieverモデルのおかげで、性能に大きな影響を与えません。このモデルは、対比学習で訓練されており、幻覚的な詳細を除去する近似損失なし圧縮機としても機能します。

これにより、質問よりも実際の文書に近い埋め込みベクトルが生成されます。

いくつかの研究では、HyDEが従来の埋め込みモデルと比較して検索性能を向上させることが示されています。

しかし、これは待ち時間の増加とLLMの使用量の増加のコストで実現されています。

日本語版は Ai 支援を使用しているため、小さな間違いが存在する可能性があることをご了承ください。

著者

Ai Base Network (ABN), ABN ASIAは、アカデミアに深く関わり、アメリカ、オランダ、ハンガリー、日本、韓国、シンガポール、ベトナムでの仕事経験を持つ人々によって設立されました。ABN ASIAは、学問とテクノロジーが機会と出会う場所です。最先端のソリューションと優れたソフトウェア開発サービスにより、ビジネスがレベルアップし、グローバルシーンに挑戦できるよう支援しています。私たちの取り組み: より速く。より良い。より信頼性が高くなります。ほとんどの場合、価格も安くなります。

いつでも、ITサービス、デジタルコンサルティング、既製のソフトウェアソリューション、または提案依頼書（RFP）をお探しの際は、お気軽にお問い合わせください。お問い合わせ先は[email protected]です。お客様のテクノロジーに関するニーズにお応えします。