Pourquoi continuons-nous à parler de jetons dans les LLM au lieu de mots ?

"Pourquoi continuons-nous à parler de « jetons » dans les LLM au lieu de mots ? Il s'avère beaucoup plus efficace de diviser les mots en sous-mots (jetons) pour les performances du modèle !

La stratégie typique utilisée dans la plupart des LLM modernes depuis GPT-1 est la stratégie Byte Pair Encoding (BPE). L'idée est d'utiliser, comme jetons, des unités de sous-mots qui apparaissent souvent dans les données d'entraînement. L'algorithme fonctionne comme suit:

• Nous commençons par une tokenisation au niveau du personnage

• on compte les fréquences des paires

• Nous fusionnons la paire la plus fréquente

• Nous répétons le processus jusqu'à ce que le dictionnaire soit aussi grand que nous le souhaitons

La taille du dictionnaire devient un hyperparamètre que nous pouvons ajuster en fonction de nos données d'entraînement. Par exemple, GPT-1 a une taille de dictionnaire d'environ 40 000 fusions, GPT-2, GPT-3 et ChatGPT ont une taille de dictionnaire d'environ 50 000 fusions et Llama 3 128 000."

Veuillez noter que la version française est assistée par Ai, des erreurs mineures peuvent donc exister.

Auteur

AiUTOMATING PEOPLE, ABN ASIA a été fondée par des personnes ayant des racines profondes dans le milieu académique, avec une expérience professionnelle aux États-Unis, aux Pays-Bas, en Hongrie, au Japon, en Corée du Sud, à Singapour et au Vietnam. ABN ASIA est l'endroit où l'académie et la technologie rencontrent l'opportunité. Avec nos solutions de pointe et nos services de développement logiciel compétents, nous aidons les entreprises à se développer et à s'imposer sur la scène mondiale. Notre engagement : Plus vite. Mieux. Plus fiable. Dans la plupart des cas : moins cher également.

N'hésitez pas à nous contacter chaque fois que vous avez besoin de services informatiques, de conseils en matière de numérique, de solutions logicielles prêtes à l'emploi, ou si vous souhaitez nous envoyer des demandes de propositions (RFP). Vous pouvez nous contacter à l'adresse [email protected]. Nous sommes prêts à vous aider avec tous vos besoins technologiques.

© ABN ASIA