Comment les LLM voient le monde

Lorsque vous tapez "Hello world" dans ChatGPT ou Claude, le modèle ne traite pas ces lettres et espaces comme vous lisez ce message en ce moment. Il convertit tout en nombres à travers un processus dont la plupart des gens ne pensent jamais.

Le prétraitement vient en premier. Le texte est normalisé. Les caractères Unicode, les bizarreries d'espacement et les symboles spéciaux, tout est nettoyé et standardisé. "Hello world" devient un format cohérent que le modèle peut vraiment utiliser.

Ensuite vient la tokenisation. C'est là que les choses deviennent intéressantes. Le modèle divise le texte en jetons, et il existe différentes approches.

1 - La tokenisation basée sur les caractères décompose tout en caractères individuels. "Hello world" devient ["H", "e", "l", "l", "o", " ", "w", "o", "r", "l", "d"]. Simple mais inefficace.

2 - La division basée sur les mots divise en mots entiers. ["Hello", "world"]. Plus propre, mais qui a du mal avec les mots rares et crée des vocabulaires massifs.

3 - La tokenisation basée sur les sous-mots est ce que les LLM modernes utilisent vraiment. GPT, Gemini, Claude, ils comptent tous sur cela. "Hello world" devient quelque chose comme ["Hell", "o", "world"]. Il équilibre l'efficacité avec la flexibilité, en gérant les mots rares en les décomposant en pièces de sous-mots connus.

La dernière étape est les ID de jetons. Ces sous-mots sont mappés à des nombres comme [15496, 345, 995]. Chaque ID de jeton correspond à un vecteur d'intégration à l'intérieur du modèle. C'est cela que le réseau de neurones traite vraiment.

Veuillez noter que la version française est assistée par Ai, des erreurs mineures peuvent donc exister.

Auteur

Ai Base Network (ABN), ABN ASIA a été fondée par des personnes ayant des racines profondes dans le milieu académique, avec une expérience professionnelle aux États-Unis, aux Pays-Bas, en Hongrie, au Japon, en Corée du Sud, à Singapour et au Vietnam. ABN ASIA est l'endroit où l'académie et la technologie rencontrent l'opportunité. Avec nos solutions de pointe et nos services de développement logiciel compétents, nous aidons les entreprises à se développer et à s'imposer sur la scène mondiale. Notre engagement : Plus vite. Mieux. Plus fiable. Dans la plupart des cas : moins cher également.

N'hésitez pas à nous contacter chaque fois que vous avez besoin de services informatiques, de conseils en matière de numérique, de solutions logicielles prêtes à l'emploi, ou si vous souhaitez nous envoyer des demandes de propositions (RFP). Vous pouvez nous contacter à l'adresse [email protected]. Nous sommes prêts à vous aider avec tous vos besoins technologiques.