Les Limites de la Formation de l'IA

Les Limites de la Formation de l'IA — et la Course pour Construire une « IA qui Grandit »

Il existe deux débats majeurs dans la formation de l'IA aujourd'hui, et ils pointent vers deux avenirs très différents :

L'Approche Actuelle

Une fois qu'un LLM est formé, son « cerveau » est plus ou moins fixe. L'ajout de nouvelles connaissances est extrêmement limité ; des techniques comme l'RL ne patchent que de minuscules morceaux. Si vous voulez que le modèle soit plus intelligent, vous devez le reformer à partir de zéro.

Imaginez « créer » un enfant de 5 ans. Au bout de quelques années, vous voulez un enfant de 10 ans ? Vous devez créer un nouvel enfant — ou en emprunter un. Voulez-vous un enfant de 15 ans ? Répétez.

Évidemment, c'est inefficace. Ce que nous voulons vraiment, c'est créer un enfant de 5 ans et le laisser apprendre, grandir et devenir naturellement un enfant de 10, puis de 15 ans. Personne ne veut fabriquer un nouvel enfant tous les cinq ans juste parce que l'ancien est obsolète.

L'Approche Souhaitée De nombreux laboratoires de premier plan explorent cette direction.

L'objectif est de former un modèle de base puissant une seule fois, puis de le lancer dans le monde. Alors qu'il fonctionne, le modèle apprend continuellement, améliore et met à niveau ses propres capacités cognitives.

Occasionnellement, vous appliquez une formation incrémentale directement au modèle en cours d'exécution, au lieu de le remplacer par un modèle complètement nouveau. En d'autres termes : créez un « bébé IA » et laissez-le grandir — plutôt que de produire un nouveau modèle chaque année et de jeter le vieux.

Où Nous En Sommes Aujourd'hui

Toutes les entreprises commerciales d'IA utilisent encore l'approche (1) : produire un nouveau modèle chaque année, mettre à la retraite le précédent. Il y a encore de la place pour optimiser, mais le potentiel de croissance atteindra un plafond dans quelques années.

Quelques laboratoires réputés poursuivent l'approche (2), mais aucune percée n'a encore émergé — bien que d'énormes sommes d'argent soient injectées dans cette recherche.

Si cette nouvelle approche réussit, les coûts de formation pourraient chuter de manière spectaculaire. La formation incrémentale est beaucoup moins chère que la réformation complète, et elle permettrait enfin aux modèles d'accumuler l'intelligence de manière continue, au lieu d'être reconstruits à partir de zéro à chaque cycle.

La prochaine frontière de l'IA n'est pas seulement « des modèles plus grands ». Ce sont des modèles qui peuvent apprendre comme les humains — de manière continue, sans réinitialisation, sans recommencer à zéro chaque année.

Écrit par Steven Nguyen

Veuillez noter que la version française est assistée par Ai, des erreurs mineures peuvent donc exister.

Auteur

Ai Base Network (ABN), ABN ASIA a été fondée par des personnes ayant des racines profondes dans le milieu académique, avec une expérience professionnelle aux États-Unis, aux Pays-Bas, en Hongrie, au Japon, en Corée du Sud, à Singapour et au Vietnam. ABN ASIA est l'endroit où l'académie et la technologie rencontrent l'opportunité. Avec nos solutions de pointe et nos services de développement logiciel compétents, nous aidons les entreprises à se développer et à s'imposer sur la scène mondiale. Notre engagement : Plus vite. Mieux. Plus fiable. Dans la plupart des cas : moins cher également.

N'hésitez pas à nous contacter chaque fois que vous avez besoin de services informatiques, de conseils en matière de numérique, de solutions logicielles prêtes à l'emploi, ou si vous souhaitez nous envoyer des demandes de propositions (RFP). Vous pouvez nous contacter à l'adresse [email protected]. Nous sommes prêts à vous aider avec tous vos besoins technologiques.