Aiを使って文章が長すぎる場合にコストを抑えるには？

"コツの 1 つは、LangChain を賢く使用することです。 LangChain は、任意の長さのテキストを要約するように設計できます。 LLM を使用してテキストを要約するには、いくつかの方法があります。

テキスト全体がコンテキストウィンドウに収まる場合は、単純に生データをフィードして結果を取得できます。 LangChain では、その戦略を「スタッフ」チェーンタイプと呼んでいます。多くの場合、テキストに含まれるトークンの数は LLM の最大容量よりも大きくなります。一般的な戦略は、データを複数のチャンクに分割し、各チャンクを要約し、最後の「結合」ステップで連結された要約を要約することです。 LangChain では、この戦略を「マップリデュース」と呼んでいます。

もう 1 つの戦略は、最初のチャンクで概要を開始し、後続の各チャンクで少しずつ要約を改良することです。 LangChain ではこれを「リファイン」と呼んでいます。たとえば、LangChain が調整ステップで使用するプロンプトテンプレートは次のとおりです。

あなたの仕事は、最終的な要約を作成することです。

特定の時点までの既存の概要を提供しました: existing_answer

以下の追加のコンテキストを使用して、既存の概要を (必要な場合のみ) 改良する機会があります。

文章

新しいコンテキストを考慮して、元の要約を改良する

コンテキストが役に立たない場合は、元の概要を返します。 "

日本語版は Ai 支援を使用しているため、小さな間違いが存在する可能性があることをご了承ください。

著者

Ai Base Network (ABN), ABN ASIAは、アカデミアに深く関わり、アメリカ、オランダ、ハンガリー、日本、韓国、シンガポール、ベトナムでの仕事経験を持つ人々によって設立されました。ABN ASIAは、学問とテクノロジーが機会と出会う場所です。最先端のソリューションと優れたソフトウェア開発サービスにより、ビジネスがレベルアップし、グローバルシーンに挑戦できるよう支援しています。私たちの取り組み: より速く。より良い。より信頼性が高くなります。ほとんどの場合、価格も安くなります。

いつでも、ITサービス、デジタルコンサルティング、既製のソフトウェアソリューション、または提案依頼書（RFP）をお探しの際は、お気軽にお問い合わせください。お問い合わせ先は[email protected]です。お客様のテクノロジーに関するニーズにお応えします。