Regularisierung im Deep Learning: Intuition dahinter

Regularisierung 101

💡 Regulierung im Deep Learning: Die Intuition dahinter

Regulierung 101 Definition:
Ein Modell funktioniert gut mit Trainingsdaten, aber nicht so gut mit unvorhergesehenen Daten. Überanpassung :)

Aber gibt es mehr dahinter? Lass uns das herausfinden.

Erinnerst du dich an den Typen in der Schule, der alles auswendig gelernt hat, was in Büchern stand oder was der Lehrer gesagt hat, aber nicht gut abgeschnitten hat, wenn die Fragen ein bisschen verdreht wurden?

Was ist passiert?

Er hat nur die Lektionen auswendig gelernt, aber nicht die Konzepte dahinter verstanden, um sie auf vorher unvorhergesehene Fragen anzuwenden.

Das ist Überanpassung, und um das zu korrigieren, benötigen wir Regulierung.

Regulierung wirkt wie ein guter Lehrer, der den Schüler anweist, sich auf die Kernkonzepte zu konzentrieren, anstatt sich an unwichtigen Details zu erinnern.

Regulierung löst im Wesentlichen 3 Probleme:

1️⃣ Überanpassung: Verhindert, dass das Modell sich an Rauschen oder unwichtigen Details in den Trainingsdaten anpasst.

2️⃣ Modellkomplexität: Reduziert die Komplexität des Modells, indem es seine Kapazität einschränkt, sodass es nicht überlernt.

3️⃣ Bias-Varianz-Kompromiss: Findet einen Ausgleich zwischen Unteranpassung (zu einfach) und Überanpassung (zu komplex).

Wie machen wir also Regulierung? Es gibt tatsächlich einige Möglichkeiten.

Lass uns die wichtigsten davon ansehen – und versuchen wir, sie ohne Mathematik zu verstehen, okay?

1️⃣ L1- und L2-Regulierung – Eine Möglichkeit, große Gewichte zu entmutigen. Ein Strafterm stellt sicher, dass große Gewichte abgeschwächt werden.

L1: Strafterm wird zu absoluten Gewichten hinzugefügt.
L2: Strafterm wird zu quadratischen Gewichten hinzugefügt.

2️⃣ Dropout – Zufällig "setzt" (setzt auf Null) einen Bruchteil der Neuronen während des Trainings aus. Dies zwingt das Netzwerk, sich nicht zu sehr auf bestimmte Neuronen zu verlassen, um Generalisierung zu fördern.

3️⃣ Datenvergrößerung – Wie wenn man dem Freund verschiedene Varianten von Fragen gibt, damit er besser darin wird, Konzepte zu erfassen.

4️⃣ Frühzeitiges Stoppen – Stoppt das Training bevor das Modell beginnt, die Daten auswendig zu lernen.

5️⃣ Batch-Norm – Normiert die Daten (Mittelwert = 0, Varianz = 1) in jeder Schicht, um sicherzustellen, dass alle Neuronen eine faire Chance in der nächsten Schicht haben.

6️⃣ Elastisches Netz – Eine Kombination aus L1- und L2-Regulierung.

Bitte beachten Sie, dass die deutsche Version von Ai unterstützt wird und daher geringfügige Fehler auftreten können.

AUTOR

Über ABN Asia: Ai Base Network (ABN), ABN Asia wurde im Jahr 2012 gegründet und ist ein Unternehmen mit akademischem Hintergrund, das von Lehrkräften und ehemaligen Studierenden aus Ungarn, den Niederlanden, Russland, Deutschland und Japan gegründet wurde. Wir teilen eine gemeinsame Leidenschaft und eine klare Vision für Technologie, die Innovation und erstklassige Qualität für unsere Kunden bringt. Unser Motto lautet: Besser. Schneller. Sicherer. In vielen Fällen: Günstiger.

Zögern Sie nicht, uns zu kontaktieren, wenn Sie IT-Dienstleistungen, digitale Beratung, Standardsoftwarelösungen benötigen oder uns Angebotsanfragen (RFPs) senden möchten. Sie können uns unter [email protected] kontaktieren. Wir sind bereit, Ihnen bei all Ihren Technologiebedürfnissen zu helfen.