深度学习中的正则化：背后的直觉

正则化101

💡 深度学习中的正则化：背后的直觉

正则化 101 定义：
模型在训练数据上表现良好，但在未见过的数据上表现不佳。 过拟合 :)

但这就是全部吗？让我们来探索一下。

还记得那个在学校里把所有书本和老师的话都背下来，但是一旦问题稍微变化一下就答不出来的同学吗？

发生了什么？

他只是把课本和老师的话都背下来了，但并没有理解背后的概念，无法应用到之前从未见过的问题中。

这就是 过拟合，为了解决这个问题，我们需要 正则化。

正则化 就像一个好的老师，指导学生专注于核心概念，而不是记忆无关紧要的细节。

正则化本质上解决了 3 个问题：

1️⃣ 过拟合：防止模型拟合训练数据中的噪声或无关紧要的细节。

2️⃣ 模型复杂度：通过约束模型的容量，确保模型不会过度学习。

3️⃣ 偏差-方差权衡：在欠拟合（太简单）和过拟合（太复杂）之间取得平衡。

那么，我们如何进行正则化？ 有很多种方法。

让我们来看看最重要的几种方法——让我们试着不用数学来理解它们吧？

1️⃣ L1 和 L2 正则化 —— 通过惩罚项来抑制大权重。惩罚项确保大权重被抑制。

L1：对 绝对权重 添加惩罚项。
L2：对 平方权重 添加惩罚项。

2️⃣ Dropout —— 在训练过程中随机“丢弃”（设置为零）一部分神经元。这迫使网络避免过度依赖特定的神经元，促进泛化。

3️⃣ 数据增强 —— 就像给那个同学提供不同版本的问题，以便他们更好地理解概念。

4️⃣ 早停 —— 在模型开始记忆数据之前停止训练。

5️⃣ 批量归一化 —— 在每个层中归一化数据（均值 = 0，方差 = 1），确保所有神经元在下一层中都有公平的机会。

6️⃣ 弹性网 —— L1 和 L2 正则化的组合。

请注意，中文版本是由 AI 辅助翻译的，因此可能存在细微错误。

作者

Ai Base Network (ABN), ABN ASIA由具有深厚学术背景的人员创立，他们在美国、荷兰、匈牙利、日本、韩国、新加坡和越南等国家有工作经验。ABN Asia是学术界和技术相遇的地方。凭借我们领先的解决方案和优秀的软件开发服务，我们帮助企业提升水平，走向全球舞台。我们的承诺：更快。更好。更可靠。在大多数情况下：也更便宜。

无论您需要IT服务、数字咨询、现成软件解决方案，还是想向我们发送招标要求（RFPs），都请随时与我们联系。您可以通过[email protected]与我们联系。我们随时准备为您提供所有技术需求的帮助。