Les fournisseurs LLM vous facturent par jeton, mais leurs jetons ne sont pas toujours comparables

"Les fournisseurs LLM vous facturent par jeton, mais leurs jetons ne sont pas toujours comparables. Donc, si vous transférez du code Python via GPT-4 et Claude 3, cela vous coûterait 25 % de jetons en plus pour le faire avec Claude, en raison de la différence entre leurs tokenisers (remarque : c'est différent du coût par jeton, cela signifie simplement que vous aura plus de jetons à payer)

Quelques constats :

Le tokeniser GPT-4 et 3.5 d'OpenAI est le plus efficace pour l'anglais et Python
Gemini démolit absolument la concurrence dans les trois langues que j'ai testées : français (-11%), chinois (-43%) et hébreu (-54%)
Si vos cas d'utilisation ne sont pas en anglais, cela vaut vraiment la peine d'examiner les modèles Gemini - la différence de coût sera probablement très perceptible
Lama 2 classé en bas de tous mes tests
Mistral était plutôt décevant en français (+16 % moins bon que GPT), la raison pour laquelle j'ai choisi le français était que je pensais qu'ils feraient mieux

Notes méthodologiques :

L'étude sera limitée, j'ai seulement comparé 7 morceaux individuels de texte/code - donc les résultats en pratique varieraient
J'ai utilisé ce terrain de jeu tokeniser (https://lnkd.in/ewud-8vf) pour GPT, Mistral et Llama. J'ai trouvé que c'était inexact (ou ancien ?) pour Claude 3 et ils n'avaient pas de Gémeaux, donc je les ai fait séparément
Les jetons ne sont qu'une partie du puzzle, une tokenisation plus efficace ne signifie pas nécessairement de meilleures performances ou un coût global inférieur."

Veuillez noter que la version française est assistée par Ai, des erreurs mineures peuvent donc exister. Les fournisseurs LLM vous facturent par jeton, mais leurs jetons ne sont pas toujours comparables

Auteur

Ai Base Network (ABN), ABN ASIA a été fondée par des personnes ayant des racines profondes dans le milieu académique, avec une expérience professionnelle aux États-Unis, aux Pays-Bas, en Hongrie, au Japon, en Corée du Sud, à Singapour et au Vietnam. ABN ASIA est l'endroit où l'académie et la technologie rencontrent l'opportunité. Avec nos solutions de pointe et nos services de développement logiciel compétents, nous aidons les entreprises à se développer et à s'imposer sur la scène mondiale. Notre engagement : Plus vite. Mieux. Plus fiable. Dans la plupart des cas : moins cher également.

N'hésitez pas à nous contacter chaque fois que vous avez besoin de services informatiques, de conseils en matière de numérique, de solutions logicielles prêtes à l'emploi, ou si vous souhaitez nous envoyer des demandes de propositions (RFP). Vous pouvez nous contacter à l'adresse [email protected]. Nous sommes prêts à vous aider avec tous vos besoins technologiques.