LLM：企业正在转向较小的模型

77% 的企业人工智能使用中，使用的小型模型占比最高，小于 13 亿参数。

Databricks 在其年度《数据+AI 状态报告》中发表了这项调查，结果显示，大型模型（即参数数量超过 100 亿的模型）现在占实施数量的约 15%。

八月份，我们询问企业买家：“你的 GPU 今天为你做了什么？”他们对使用一些较大模型的 ROI 表达了担忧，特别是在生产应用中。

一家流行的推理提供商的价格表明，随着模型参数的增加，价格呈几何级数增长。

但是，除了成本以外，还有其他原因可以使用较小的模型。

首先，较小模型的性能已经显著改善，一些较小的模型接近其大型兄弟的成功。成本差异意味着较小的模型可以多次运行以验证，就像 AI Mechanical Turk 一样。

其次，较小模型的延迟是中型模型的一半，远远低于超大型模型。

较高的延迟会导致用户体验下降。用户不喜欢等待。

较小的模型代表了企业的重大创新，他们可以利用相似的性能，成本减少两个数量级，延迟减少一半。

难怪开发者认为它们是小而强大的。

注意：我已经抽象掉了混合专家模型的额外维度，以使这一点更加清晰。

测量延迟有不同的方法，例如时间到第一个令牌或令牌之间的延迟。

请注意，中文版本是由 AI 辅助翻译的，因此可能存在细微错误。

作者

Ai Base Network (ABN), ABN ASIA由具有深厚学术背景的人员创立，他们在美国、荷兰、匈牙利、日本、韩国、新加坡和越南等国家有工作经验。ABN Asia是学术界和技术相遇的地方。凭借我们领先的解决方案和优秀的软件开发服务，我们帮助企业提升水平，走向全球舞台。我们的承诺：更快。更好。更可靠。在大多数情况下：也更便宜。

无论您需要IT服务、数字咨询、现成软件解决方案，还是想向我们发送招标要求（RFPs），都请随时与我们联系。您可以通过[email protected]与我们联系。我们随时准备为您提供所有技术需求的帮助。