使用推测解码加速大型语言模型推断

还记得MSN即时通讯吗？

什么是推测解码？

它是一种使用草稿模型（SLM）与主要LLM一起工作的技术：

1️⃣ 草稿模型预测下一个K个令牌。

2️⃣ 主要LLM验证并根据需要进行纠正。

3️⃣ 如果存在不匹配，LLM继续序列，而草稿模型使用更新的输入重新开始。

为什么有效：

• 代码完成速度提高了3倍。

• 摘要、文本生成和指令的速度提高了2倍。

预训练草稿模型：

• Llama-3.1-8B-FastDraft-150M

• Phi-3-mini-FastDraft-50M

为什么重要：

它使LLM更快、更高效，并为现实世界的任务做好准备。

请注意，中文版本是由 AI 辅助翻译的，因此可能存在细微错误。

作者

Ai Base Network (ABN), ABN ASIA由具有深厚学术背景的人员创立，他们在美国、荷兰、匈牙利、日本、韩国、新加坡和越南等国家有工作经验。ABN Asia是学术界和技术相遇的地方。凭借我们领先的解决方案和优秀的软件开发服务，我们帮助企业提升水平，走向全球舞台。我们的承诺：更快。更好。更可靠。在大多数情况下：也更便宜。

无论您需要IT服务、数字咨询、现成软件解决方案，还是想向我们发送招标要求（RFPs），都请随时与我们联系。您可以通过[email protected]与我们联系。我们随时准备为您提供所有技术需求的帮助。