艾的变化速度。令人惊奇地迷人。

"2019 年，OpenAI 发布了 GPT-2。今天（约 5 年后），您可以花费约 672 美元来训练自己的 GPT-2，在一个 8XH100 GPU 节点上运行 24 小时。

由于计算硬件（H100 GPU）、软件（CUDA、cuBLAS、cuDNN、FlashAttention）和数据质量（例如 FineWeb-Edu 数据集）的改进，成本在过去 5 年中大幅下降。

因为 llm.c 是 C/CUDA 中 GPT 训练的直接实现，所以要求很低 - 不需要 conda 环境、Python 解释器、pip 安装等。

您启动云 GPU 节点（例如在 Lambda 上），可选择安装 NVIDIA cuDNN、NCCL/MPI，下载 .bin 数据分片、编译并运行，几分钟内即可完成操作。

然后您等待 24 小时，欣赏有关安第斯山脉讲英语的独角兽的样本。"

作者

Ai Base Network (ABN), ABN ASIA由具有深厚学术背景的人员创立，他们在美国、荷兰、匈牙利、日本、韩国、新加坡和越南等国家有工作经验。ABN Asia是学术界和技术相遇的地方。凭借我们领先的解决方案和优秀的软件开发服务，我们帮助企业提升水平，走向全球舞台。我们的承诺：更快。更好。更可靠。在大多数情况下：也更便宜。

无论您需要IT服务、数字咨询、现成软件解决方案，还是想向我们发送招标要求（RFPs），都请随时与我们联系。您可以通过[email protected]与我们联系。我们随时准备为您提供所有技术需求的帮助。