我们需要训练一个模型来了解它的好坏吗？

这些概念很简单：将学习元数据特征化，训练一个模型用这些特征预测性能指标，然后用这个元模型来搜索优化空间以调优另一个模型。

我们需要训练一个模型来了解它的潜在表现吗？我们不能仅凭借其架构或训练参数就“猜测”出其潜在的预测能力吗？这就是元学习（Meta-Learning）的想法：学习使一个模型比另一个模型更适合某个学习任务的模式！

这些概念很简单：对学习元数据进行特征提取，训练一个模型来预测性能指标，并使用该元模型来搜索优化空间以调优另一个模型。

对学习元数据进行特征提取意味着我们从训练设置中创建特征。我们可以使用一热编码特征向量来捕获网络的架构。我们可以捕获不同的超参数值和训练参数，如训练轮数或硬件（CPU / GPU）。我们可以将元特征空间扩展到用于训练的数据集。例如，我们可以包括使用的特征的热编码表示和使用的样本数量（这将允许您执行特征选择）。我们可以捕获任何可能影响学习和性能指标的因素。您包含的元特征越多，您可以优化的空间就越大，但学习目标变量也越困难。

现在您可以对训练实验进行特征提取，您可以训练一个元学习器来学习训练参数和性能指标之间的关系。由于您可能只有很少的样本，您的元学习器应该是一个简单的模型，如线性回归或浅层神经网络。

现在您有了一个了解学习元数据和性能指标之间关系的模型，您可以搜索使性能指标最大化的学习元数据。由于您有一个模型，您可以在几秒钟内评估数十亿个不同的学习元数据，并快速收敛到最优的元特征。典型的方法是使用强化学习或监督微调。微调意味着如果您有特定的训练数据或想要专注于搜索空间的子集，您可以在该数据上训练几个新模型并获得性能指标。这将允许您微调元学习器以获得更优的优化搜索。

请注意，中文版本是由 AI 辅助翻译的，因此可能存在细微错误。

作者

Ai Base Network (ABN), ABN ASIA由具有深厚学术背景的人员创立，他们在美国、荷兰、匈牙利、日本、韩国、新加坡和越南等国家有工作经验。ABN Asia是学术界和技术相遇的地方。凭借我们领先的解决方案和优秀的软件开发服务，我们帮助企业提升水平，走向全球舞台。我们的承诺：更快。更好。更可靠。在大多数情况下：也更便宜。

无论您需要IT服务、数字咨询、现成软件解决方案，还是想向我们发送招标要求（RFPs），都请随时与我们联系。您可以通过[email protected]与我们联系。我们随时准备为您提供所有技术需求的帮助。