LLama 3.1 - pourquoi des prix 9x différents ?

"Llama-3.1 405b est sorti depuis environ un jour et nous avons constaté une énorme différence de prix (9 fois plus cher jusqu'à présent) - entre 2,7 $par million de jetons et jusqu'à 14$ par million de jetons.

Remarque : il s'agit d'un tableau mis à jour pour corriger les prix IBM, qui indiquait auparavant une entrée de 35 $, mais en fait, il s'agit d'une entrée de 5$ et d'une sortie de 35 $.

Des entreprises comme Azure sont les plus intéressantes, car elles sont le plus grand fournisseur répertorié - je n'ai pas pu trouver de prix pour AWS ou Google Vertex, donc si Azure est la bonne référence à examiner, le prix est proche de celui de GPT-4o. .

Pour le contexte de discussion, quelques modèles de tarification propriétaires :

• GPT-4o : 5 $ d'entrée / 15 millions de dollars de sortie

• GPT-4o-Mini : 0,15 $d'entrée / 0,6$ de sortie

• Claude Sonnet 3.5 : 3$d'entrée / 15$ de sortie

Pour calculer la moyenne, j'ai supposé une pondération d'entrée de 80 % et une pondération de sortie de 20 %.

Notez que tous les fournisseurs ne révèlent pas s'ils limitent les modèles de quelque manière que ce soit - par ex. Parfois, les fournisseurs peuvent limiter la longueur du contexte et au lieu de 128 Ko natifs, vous pouvez obtenir 32 Ko. Il est possible que certains soient quantifiés, mais je n'ai pas encore vu cela explicitement mentionné. Cela ne prend pas non plus en compte les limites de débit ou la vitesse, d'autres facteurs importants."

Veuillez noter que la version française est assistée par Ai, des erreurs mineures peuvent donc exister.

Auteur

AiUTOMATING PEOPLE, ABN ASIA a été fondée par des personnes ayant des racines profondes dans le milieu académique, avec une expérience professionnelle aux États-Unis, aux Pays-Bas, en Hongrie, au Japon, en Corée du Sud, à Singapour et au Vietnam. ABN ASIA est l'endroit où l'académie et la technologie rencontrent l'opportunité. Avec nos solutions de pointe et nos services de développement logiciel compétents, nous aidons les entreprises à se développer et à s'imposer sur la scène mondiale. Notre engagement : Plus vite. Mieux. Plus fiable. Dans la plupart des cas : moins cher également.

N'hésitez pas à nous contacter chaque fois que vous avez besoin de services informatiques, de conseils en matière de numérique, de solutions logicielles prêtes à l'emploi, ou si vous souhaitez nous envoyer des demandes de propositions (RFP). Vous pouvez nous contacter à l'adresse [email protected]. Nous sommes prêts à vous aider avec tous vos besoins technologiques.

© ABN ASIA