OpenAI 刚刚发布了一篇关于 AI 幻觉的论文

OpenAI 刚刚发布了一篇关于 AI 妄想的论文

原来，LLM 产生虚假信息并不是因为它们“有缺陷”。

LLM 产生虚假信息是因为我们训练它们这样做的。

OpenAI 的研究带来了以下一些令人着迷的见解：

→ 预训练强制模型产生错误（例如，随机猜测生日），因为有些事实无法从数据中学习。

→ 后训练使情况变得更糟糕 - 基准测试奖励自信的答案并惩罚“我不知道”的回答。

→ 结果？模型被优化为好的测试者，而不是真实的说者。

换句话说，妄想并不是神秘的。

它们是重视猜测而非诚实的评分系统的逻辑结果。

解决方案很简单，但却很激进：

↳ 改变评估方式，让模型因不确定性而获得积分。 ↳ 对自信的错误进行更严厉的惩罚，而不是放弃回答。 ↳ 奖励诚实，而不是虚张声势。

总结：

一个说“我不知道”的模型可能在今天的排行榜上看起来不那么准确，但在现实世界中它更值得信赖。

这可能是人工智能的下一个重大突破。

我们不需要更大的模型，我们只需要更好的激励机制。

请注意，中文版本是由 AI 辅助翻译的，因此可能存在细微错误。

作者

Ai Base Network (ABN), ABN ASIA由具有深厚学术背景的人员创立，他们在美国、荷兰、匈牙利、日本、韩国、新加坡和越南等国家有工作经验。ABN Asia是学术界和技术相遇的地方。凭借我们领先的解决方案和优秀的软件开发服务，我们帮助企业提升水平，走向全球舞台。我们的承诺：更快。更好。更可靠。在大多数情况下：也更便宜。

无论您需要IT服务、数字咨询、现成软件解决方案，还是想向我们发送招标要求（RFPs），都请随时与我们联系。您可以通过[email protected]与我们联系。我们随时准备为您提供所有技术需求的帮助。