人工智能训练的极限

人工智能训练的极限——以及开发“成长型AI”的竞赛

当前，人工智能训练领域存在两大争论，这两种观点指向了两个截然不同的未来：

现有方法

一旦大型语言模型（LLM）完成训练，其“大脑”基本上就固定了。添加新知识极为有限，像强化学习（RL）这样的技术只能修补一些小问题。如果你想让模型变得更智能，你必须从头开始重新训练它。

想象一下“创造”一个5岁的孩子。几年后，你想要一个10岁的孩子？你需要创造一个新孩子——或者借用一个。想要一个15岁的孩子？重复这个过程。

显然，这种方法效率很低。我们真正想要的是创造一个5岁的孩子，让他们学习、成长，自然而然地成为10岁、15岁的孩子。没有人愿意每五年就制造一个新孩子，只因为旧的孩子已经过时了。

理想方法

许多顶级实验室正在探索这一方向。

目标是训练一个强大的基础模型，然后将其释放到世界上。在运行过程中，模型不断学习、改进和升级其自身的认知能力。

偶尔，你可以直接对正在运行的模型进行增量训练，而不是用一个完全新的模型替换它。换句话说：创造一个“AI婴儿”让它成长——而不是每年生产一个新模型然后丢弃旧的模型。

我们当前的状态

所有商业人工智能公司仍然使用方法（1）：每年生产一个新模型，退役前一个模型。虽然仍然有优化的空间，但增长潜力在几年内就会达到天花板。

少数几家著名实验室正在追求方法（2），但尚未取得突破——尽管大量资金正在流入这一研究领域。

如果这一新方法成功，训练成本可能会大幅降低。增量训练比完全重新训练要便宜得多，而且它将允许模型连续积累智能，而不是每个周期都从头开始重建。

人工智能的下一个前沿领域不仅仅是“更大的模型”，而是能够像人类一样学习的模型——连续地、不需要重置、不需要每年重新开始。

作者：Steven Nguyen

请注意，中文版本是由 AI 辅助翻译的，因此可能存在细微错误。

作者

Ai Base Network (ABN), ABN ASIA由具有深厚学术背景的人员创立，他们在美国、荷兰、匈牙利、日本、韩国、新加坡和越南等国家有工作经验。ABN Asia是学术界和技术相遇的地方。凭借我们领先的解决方案和优秀的软件开发服务，我们帮助企业提升水平，走向全球舞台。我们的承诺：更快。更好。更可靠。在大多数情况下：也更便宜。

无论您需要IT服务、数字咨询、现成软件解决方案，还是想向我们发送招标要求（RFPs），都请随时与我们联系。您可以通过[email protected]与我们联系。我们随时准备为您提供所有技术需求的帮助。