La régularisation dans l'apprentissage profond : l'intuition derrière

Régularisation 101

💡 La Régularisation dans l'Apprentissage Profond : L'Intuition derrière

Définition de la régularisation 101 :
Un modèle fonctionne bien sur les données d'entraînement mais pas aussi bien sur les données non vues. Surapprentissage :)

Mais y a-t-il plus à cela ? Essayons de le découvrir.

Rappelez-vous ce type à l'école qui a mémorisé tout ce qui était écrit dans les livres ou dit par l'enseignant mais n'a pas obtenu de bons résultats lorsque les questions étaient un peu modifiées.

Qu'est-ce qui s'est passé ?

Il n'a fait que mémoriser les leçons mais n'a pas compris les concepts derrière eux pour les appliquer à des questions non vues.

C'est le surapprentissage, et pour y remédier, nous avons besoin de régularisation.

La régularisation agit comme un bon enseignant, guidant l'élève pour se concentrer sur les concepts fondamentaux plutôt que de mémoriser des détails sans importance.

La régularisation résout essentiellement 3 problèmes :

1️⃣ Surapprentissage : Empêche le modèle de s'adapter au bruit ou aux détails sans importance dans les données d'entraînement.

2️⃣ Complexité du modèle : Réduit la complexité du modèle en limitant sa capacité, en veillant à ce qu'il n'apprenne pas trop.

3️⃣ Équilibre entre biais et variance : Trouve un équilibre entre le sous-apprentissage (trop simple) et le surapprentissage (trop complexe).

Alors, comment faisons-nous la régularisation ?
Il y a plusieurs façons, en fait.

Voyons les plus importantes – et essayons de les comprendre sans utiliser de mathématiques, d'accord ?

1️⃣ Régularisation L1 et L2 – Une façon de décourager les poids élevés. Un terme de pénalité assure que les poids élevés sont atténués.

• L1 : Pénalité ajoutée aux poids absolus.
• L2 : Pénalité ajoutée aux poids au carré.

2️⃣ Dropout – Supprime aléatoirement (met à zéro) une fraction de neurones pendant l'entraînement. Cela force le réseau à éviter de s'appuyer trop sur des neurones spécifiques, favorisant la généralisation.

3️⃣ Augmentation des données – Comme donner des variantes différentes de questions à cet ami pour qu'il devienne meilleur pour saisir les concepts.

4️⃣ Arrêt précoce – Arrêtez l'entraînement avant que le modèle commence à mémoriser les données.

5️⃣ Normalisation par lots – Normalise les données (moyenne = 0, variance = 1) à chaque couche, en veillant à ce que tous les neurones aient une chance égale dans la couche suivante.

6️⃣ Elastic Net – Une combinaison de régularisation L1 et L2.

Veuillez noter que la version française est assistée par Ai, des erreurs mineures peuvent donc exister.

Auteur

AiUTOMATING PEOPLE, ABN ASIA a été fondée par des personnes ayant des racines profondes dans le milieu académique, avec une expérience professionnelle aux États-Unis, aux Pays-Bas, en Hongrie, au Japon, en Corée du Sud, à Singapour et au Vietnam. ABN ASIA est l'endroit où l'académie et la technologie rencontrent l'opportunité. Avec nos solutions de pointe et nos services de développement logiciel compétents, nous aidons les entreprises à se développer et à s'imposer sur la scène mondiale. Notre engagement : Plus vite. Mieux. Plus fiable. Dans la plupart des cas : moins cher également.

N'hésitez pas à nous contacter chaque fois que vous avez besoin de services informatiques, de conseils en matière de numérique, de solutions logicielles prêtes à l'emploi, ou si vous souhaitez nous envoyer des demandes de propositions (RFP). Vous pouvez nous contacter à l'adresse [email protected]. Nous sommes prêts à vous aider avec tous vos besoins technologiques.

© ABN ASIA