Llama 3 était un assez bon coup publicitaire pour Meta

"Llama 3 était un plutôt bon coup publicitaire pour Meta ! L'expérience Llama ressemble à une tentative bien documentée de rattraper OpenAI et Google en ce qui concerne le jeu GenAI. C'est ouvert, Meta revient donc dans la catégorie ""good guy"" aux yeux du public !

Llama 1 était leur modèle pré-entraîné (https://lnkd.in/g3nGaGms). Il est sorti en février 2023, et c'était l'équivalent du GPT-3 d'OpenAI sorti en 2020. C'était comme s'ils tâtaient le terrain et jetaient les bases de travaux futurs. Ils ont utilisé 1 000 milliards de jetons, un mécanisme d'attention économe en mémoire et se sont concentrés sur des architectures plus petites que celles de la concurrence.

Llama 2 était leur LLM formé pour suivre les instructions (https://lnkd.in/gPhhSYND). Il est sorti en juillet 2023 et était l'équivalent d'InstructGPT d'OpenAI et du modèle original utilisé par ChatGPT en 2022. C'est le même modèle que Llama 1 affiné avec un apprentissage supervisé et un apprentissage par renforcement. Ils se sont concentrés sur des données de haute qualité pour les étapes de réglage fin et ont augmenté l'étape de pré-formation à 2 000 milliards de jetons.

Llama 3 est fondamentalement le même modèle que le précédent 2. Ils ont utilisé plus de données pour l'étape de pré-formation (15 000 milliards de jetons) et se sont à nouveau concentrés sur la qualité des données pour les différentes étapes de formation. Ils ont utilisé un mécanisme d'attention aux requêtes groupées et ont élargi leur vocabulaire de jetons de 32 000 à 128 000. Je suppose que cela a du sens, car avec plus de données, il est moins nécessaire de régulariser. Désormais, les modèles sont affinés avec LoRA et ils ont créé leur propre bibliothèque de réglage fin (torchtune https://lnkd.in/gDbxHkp3) lors du développement de Llama 3.

Meta a rattrapé OpenAI et Google en établissant leur propre technologie de base en matière de formation de LLM en mettant l'accent sur des modèles plus petits et open source. Je suppose que c'était juste un échauffement pour le vrai travail à venir. "

Veuillez noter que la version française est assistée par Ai, des erreurs mineures peuvent donc exister.

Auteur

AiUTOMATING PEOPLE, ABN ASIA a été fondée par des personnes ayant des racines profondes dans le milieu académique, avec une expérience professionnelle aux États-Unis, aux Pays-Bas, en Hongrie, au Japon, en Corée du Sud, à Singapour et au Vietnam. ABN ASIA est l'endroit où l'académie et la technologie rencontrent l'opportunité. Avec nos solutions de pointe et nos services de développement logiciel compétents, nous aidons les entreprises à se développer et à s'imposer sur la scène mondiale. Notre engagement : Plus vite. Mieux. Plus fiable. Dans la plupart des cas : moins cher également.

N'hésitez pas à nous contacter chaque fois que vous avez besoin de services informatiques, de conseils en matière de numérique, de solutions logicielles prêtes à l'emploi, ou si vous souhaitez nous envoyer des demandes de propositions (RFP). Vous pouvez nous contacter à l'adresse [email protected]. Nous sommes prêts à vous aider avec tous vos besoins technologiques.

© ABN ASIA