Wie kann man mit Ai Kosten sparen, wenn der Text zu lang ist?

"Einer der Tricks besteht darin, LangChain geschickt einzusetzen. LangChain kann so gestaltet werden, dass es Texte beliebiger Länge zusammenfasst. Um Texte mit einem LLM zusammenzufassen, gibt es einige Strategien.

Wenn der gesamte Text in das Kontextfenster passt, können Sie einfach die Rohdaten eingeben und das Ergebnis erhalten. LangChain bezeichnet diese Strategie als „Stuff-Kettentyp. Oft ist die Anzahl der im Text enthaltenen Token größer als die maximale Kapazität des LLM. Eine typische Strategie besteht darin, die Daten in mehrere Blöcke aufzuteilen, jeden Block zusammenzufassen und die verketteten Zusammenfassungen in einem abschließenden „Kombinationsschritt zusammenzufassen. LangChain bezeichnet diese Strategie als „Map-Reduce.

Eine andere Strategie besteht darin, die Zusammenfassung mit dem ersten Abschnitt zu beginnen und sie nach und nach mit jedem der folgenden Abschnitte zu verfeinern. LangChain bezeichnet dies als „verfeinern. Hier ist beispielsweise die Eingabeaufforderungsvorlage, die LangChain für den Verfeinerungsschritt verwendet:

Ihre Aufgabe ist es, eine abschließende Zusammenfassung zu erstellen.

Wir haben eine bis zu einem bestimmten Punkt vorhandene Zusammenfassung bereitgestellt: existing_answer

Wir haben die Möglichkeit, die vorhandene Zusammenfassung (nur bei Bedarf) weiter unten mit etwas mehr Kontext zu verfeinern.

Text

Verfeinern Sie die ursprüngliche Zusammenfassung angesichts des neuen Kontexts

Wenn der Kontext nicht nützlich ist, geben Sie die ursprüngliche Zusammenfassung zurück. "

Bitte beachten Sie, dass die deutsche Version von Ai unterstützt wird und daher geringfügige Fehler auftreten können.

AUTOR

Über ABN Asia: Ai Base Network (ABN), ABN Asia wurde im Jahr 2012 gegründet und ist ein Unternehmen mit akademischem Hintergrund, das von Lehrkräften und ehemaligen Studierenden aus Ungarn, den Niederlanden, Russland, Deutschland und Japan gegründet wurde. Wir teilen eine gemeinsame Leidenschaft und eine klare Vision für Technologie, die Innovation und erstklassige Qualität für unsere Kunden bringt. Unser Motto lautet: Besser. Schneller. Sicherer. In vielen Fällen: Günstiger.

Zögern Sie nicht, uns zu kontaktieren, wenn Sie IT-Dienstleistungen, digitale Beratung, Standardsoftwarelösungen benötigen oder uns Angebotsanfragen (RFPs) senden möchten. Sie können uns unter [email protected] kontaktieren. Wir sind bereit, Ihnen bei all Ihren Technologiebedürfnissen zu helfen.