LLama 3.1 - warum 9x unterschiedlich im Preis?

"Llama-3.1 405b ist seit etwa einem Tag auf dem Markt und wir haben einen großen Preisunterschied festgestellt (bisher 9x teurer) - zwischen 2,7 $pro Million Token und bis zu 14$ pro Million Token.

Hinweis: Hierbei handelt es sich um ein aktualisiertes Diagramm zur Korrektur der IBM-Preise. Zuvor wurden 35 US-Dollar Input angezeigt, in Wirklichkeit handelt es sich jedoch um 5 US-Dollar Input und 35 US-Dollar Output.

Unternehmen wie Azure sind am interessantesten, da sie der größte aufgeführte Anbieter sind. Ich konnte keine Preise für AWS oder Google Vertex finden. Wenn Azure also der richtige Maßstab ist, liegt der Preis in etwa bei GPT-4o .

Für den Diskussionskontext einige proprietäre Preismodelle:

GPT-4o: 5 $Input / 15 Mio.$ Output
GPT-4o-Mini: 0,15 $Eingabe / 0,6$ Ausgabe
Claude Sonnet 3.5: 3 $Eingabe / 15$ Ausgabe

Um den Durchschnitt zu berechnen, habe ich eine Input-Gewichtung von 80 % und eine Output-Gewichtung von 20 % angenommen.

Beachten Sie, dass nicht alle Anbieter offenlegen, ob sie die Modelle in irgendeiner Weise einschränken - z.B. Manchmal können Anbieter die Kontextlänge begrenzen und statt nativer 128 KB können Sie 32 KB erhalten. Es ist möglich, dass einige quantisiert sind, aber ich habe noch nicht gesehen, dass dies explizit erwähnt wurde. Dabei werden auch Ratenbeschränkungen oder Geschwindigkeit - andere wichtige Faktoren - nicht berücksichtigt."

Bitte beachten Sie, dass die deutsche Version von Ai unterstützt wird und daher geringfügige Fehler auftreten können.

AUTOR

Über ABN Asia: Ai Base Network (ABN), ABN Asia wurde im Jahr 2012 gegründet und ist ein Unternehmen mit akademischem Hintergrund, das von Lehrkräften und ehemaligen Studierenden aus Ungarn, den Niederlanden, Russland, Deutschland und Japan gegründet wurde. Wir teilen eine gemeinsame Leidenschaft und eine klare Vision für Technologie, die Innovation und erstklassige Qualität für unsere Kunden bringt. Unser Motto lautet: Besser. Schneller. Sicherer. In vielen Fällen: Günstiger.

Zögern Sie nicht, uns zu kontaktieren, wenn Sie IT-Dienstleistungen, digitale Beratung, Standardsoftwarelösungen benötigen oder uns Angebotsanfragen (RFPs) senden möchten. Sie können uns unter [email protected] kontaktieren. Wir sind bereit, Ihnen bei all Ihren Technologiebedürfnissen zu helfen.