Devons-nous entraîner un modèle pour comprendre à quel point il serait efficace ?

Les concepts sont simples : transformer les métadonnées d'apprentissage en fonctionnalités, entraîner un modèle pour prédire les métriques de performance avec ces fonctionnalités, et utiliser ce méta-modèle pour rechercher l'espace d'optimisation lors du réglage d'un autre modèle.

Avez-vous besoin de former un modèle pour comprendre à quel point il serait efficace ? Ne pouvons-nous pas "deviner" son pouvoir prédictif potentiel en fonction uniquement de son architecture ou de ses paramètres d'entraînement ? C'est l'idée derrière l'apprentissage métacognitif : apprendre les modèles qui font qu'un modèle est meilleur qu'un autre pour une tâche d'apprentissage !

Les concepts sont simples : transformer les métadonnées d'apprentissage en fonctionnalités, former un modèle pour prédire les métriques de performance avec ces fonctionnalités, et utiliser ce méta-modèle pour rechercher l'espace d'optimisation lors de l'ajustement d'un autre modèle.

Transformer les métadonnées d'apprentissage en fonctionnalités signifie que nous créons des fonctionnalités à partir des paramètres d'entraînement. Nous pouvons capturer l'architecture d'un réseau sous forme de vecteur de fonctionnalités codé en un seul chiffre. Nous pouvons capturer les différentes valeurs de hyperparamètres et les paramètres d'entraînement, tels que le nombre d'époques ou le matériel (CPU / GPT). Nous pouvons étendre l'espace de fonctionnalités métacognitives au jeu de données utilisé pour l'entraînement. Par exemple, nous pouvons inclure une représentation codée en un seul chiffre des fonctionnalités utilisées et le nombre d'échantillons utilisés (cela vous permettra également de réaliser une sélection de fonctionnalités). Nous pourrions capturer tout ce qui pourrait influencer l'apprentissage et les métriques de performance résultantes. Plus vous incluez de fonctionnalités métacognitives, plus grande sera l'espace que vous pourrez optimiser, mais aussi, plus il sera difficile d'apprendre correctement la variable cible.

Maintenant que vous pouvez transformer les expériences d'entraînement en fonctionnalités, vous pouvez former un apprenti métacognitif pour apprendre la relation entre les paramètres d'entraînement et une métrique de performance. Puisque vous aurez probablement très peu d'échantillons, votre apprenti métacognitif devrait être un modèle simple tel qu'une régression linéaire ou un réseau neuronal peu profond.

Maintenant que vous avez un modèle qui comprend la relation entre les métadonnées d'apprentissage et les métriques de performance, vous pouvez rechercher les métadonnées d'apprentissage qui maximisent la métrique de performance. Puisque vous avez un modèle, vous pouvez évaluer des milliards de différentes métadonnées d'apprentissage en quelques secondes et converger rapidement vers les fonctionnalités métacognitives optimales. L'approche typique consiste à utiliser l'apprentissage par renforcement ou l'affinage supervisé. L'affinage signifie que si vous avez des données d'entraînement spécifiques ou si vous souhaitez vous concentrer sur un sous-ensemble de l'espace de recherche, vous pouvez former quelques nouveaux modèles sur ces données et obtenir les métriques de performance résultantes. Cela vous permettra d'affiner l'apprenti métacognitif pour obtenir une recherche d'optimisation plus optimale.

Veuillez noter que la version française est assistée par Ai, des erreurs mineures peuvent donc exister.

Auteur

AiUTOMATING PEOPLE, ABN ASIA a été fondée par des personnes ayant des racines profondes dans le milieu académique, avec une expérience professionnelle aux États-Unis, aux Pays-Bas, en Hongrie, au Japon, en Corée du Sud, à Singapour et au Vietnam. ABN ASIA est l'endroit où l'académie et la technologie rencontrent l'opportunité. Avec nos solutions de pointe et nos services de développement logiciel compétents, nous aidons les entreprises à se développer et à s'imposer sur la scène mondiale. Notre engagement : Plus vite. Mieux. Plus fiable. Dans la plupart des cas : moins cher également.

N'hésitez pas à nous contacter chaque fois que vous avez besoin de services informatiques, de conseils en matière de numérique, de solutions logicielles prêtes à l'emploi, ou si vous souhaitez nous envoyer des demandes de propositions (RFP). Vous pouvez nous contacter à l'adresse [email protected]. Nous sommes prêts à vous aider avec tous vos besoins technologiques.

© ABN ASIA