La vitesse du changement dans Ai. Étonnamment fascinant.

"""En 2019, OpenAI a annoncé GPT-2. Aujourd'hui (~ 5 ans plus tard), vous pouvez entraîner le vôtre pour ~ 672 $, en fonctionnant sur un nœud GPU 8XH100 pendant 24 heures. ""

Les coûts ont considérablement diminué au cours des 5 dernières années grâce aux améliorations du matériel de calcul (GPU H100), des logiciels (CUDA, cuBLAS, cuDNN, FlashAttention) et de la qualité des données (par exemple l'ensemble de données FineWeb-Edu).

Étant donné que llm.c est une implémentation directe de la formation GPT en C/CUDA, les exigences sont minimes : il n'y a pas besoin d'environnements conda, d'interpréteurs Python, d'installations pip, etc.

Vous démarrez un nœud GPU cloud (par exemple sur Lambda), installez éventuellement NVIDIA cuDNN, NCCL/MPI, téléchargez les fragments de données .bin, compilez et exécutez, et vous avancez en quelques minutes.

Vous attendez ensuite 24 heures et profitez d'échantillons sur les licornes anglophones des Andes."

Veuillez noter que la version française est assistée par Ai, des erreurs mineures peuvent donc exister.

Auteur

AiUTOMATING PEOPLE, ABN ASIA a été fondée par des personnes ayant des racines profondes dans le milieu académique, avec une expérience professionnelle aux États-Unis, aux Pays-Bas, en Hongrie, au Japon, en Corée du Sud, à Singapour et au Vietnam. ABN ASIA est l'endroit où l'académie et la technologie rencontrent l'opportunité. Avec nos solutions de pointe et nos services de développement logiciel compétents, nous aidons les entreprises à se développer et à s'imposer sur la scène mondiale. Notre engagement : Plus vite. Mieux. Plus fiable. Dans la plupart des cas : moins cher également.

N'hésitez pas à nous contacter chaque fois que vous avez besoin de services informatiques, de conseils en matière de numérique, de solutions logicielles prêtes à l'emploi, ou si vous souhaitez nous envoyer des demandes de propositions (RFP). Vous pouvez nous contacter à l'adresse [email protected]. Nous sommes prêts à vous aider avec tous vos besoins technologiques.

© ABN ASIA