论文页面 - Puro-2B: Poor Lab的Qwen2-1.5B在RTX 5090上以5090美元以下成本训练完成

来源: https://huggingface.co/papers/2608.27370

摘要

一种低成本高效的开源预训练方案，在消费级GPU上以低于7000美元的成本训练20亿参数模型，其性能接近更大的基线模型，同时推导出了成本缩放规律并研究了数据课程安排。

语言模型预训练几乎已成为高昂成本的代名词，使其对许多学术界和开源社区而言遥不可及。尽管已存在强大的开源努力，包括开源权重模型和开源训练方案，但一种低成本、硬件易得且开源的预训练方案一直空缺。即使在小规模上，训练Llama-3.2-3B的成本也超过150万美元，而复现SmolLM3-3B则需要超过70万美元。在本报告中，我们提出了一种旨在降低此门槛的开源预训练方案。利用此方案，我们在消费级RTX 5090 GPU上，使用FP8精度 (https://huggingface.co/papers?q=FP8%20precision)，从头训练了多达1.4万亿个token的Puro-2B模型集合。该模型集合中的模型在token预算和选定的方案变体上有所不同。我们最佳模型的训练计算成本低于6900美元，并且在我们的评估协议下接近Qwen2.5-1.5B的性能。这种成本效率得益于一系列方法的组合，包括硬件选择、低精度训练 (https://huggingface.co/papers?q=low-precision%20training)、超球优化 (https://huggingface.co/papers?q=hyperball%20optimization)、课程模型平均 (https://huggingface.co/papers?q=curriculum%20model%20averaging) 以及数据方案。除了方案本身，我们还提供了两个额外结果。首先，在整个Puro-2B集合中，我们推导出了一个Puro成本缩放规律 (https://huggingface.co/papers?q=Cost%20Scaling%20Law)，该规律将训练成本与平均模型性能联系起来；拟合出的规律表明，约4400美元，低于5090美元，就足以达到Qwen2-1.5B的性能。其次，作为端到端的案例研究，我们考察了预训练数据课程安排 (https://huggingface.co/papers?q=pretraining%20data%20curricula) 如何在后训练之后影响下游性能。这类受控研究之所以可行，是因为我们拥有完整的预训练流程，而不仅仅是模型权重。我们在Apache 2.0许可下发布了Puro-2B的完整训练方案，包括数据、代码和模型权重，地址为：https://huggingface.co/collections/thu-pacman/puro-2b\。

查看arXiv页面 (https://arxiv.org/abs/2608.27370) 查看PDF (https://arxiv.org/pdf/2608.27370) 项目页面 (https://huggingface.co/collections/thu-pacman/puro-2b) GitHub58 (https://github.com/thu-pacman/Puro-Megatron) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2608.27370)

在你的智能体中获取此论文：

hf papers read 2608\.27370

没有最新的CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 1

thu-pacman/Puro-2B-Base 文本生成 • 20亿 • 更新于约5小时前 • 849 • 8 (https://huggingface.co/thu-pacman/Puro-2B-Base)

引用此论文的数据集 1

thu-pacman/Puro-2B 查看器 • 更新于4天前 • 596M • 1.31k • 3 (https://huggingface.co/datasets/thu-pacman/Puro-2B)

引用此论文的空间 0

没有链接到此论文的空间

在Space README.md中引用arxiv.org/abs/2608.27370以从本页链接到它。

包含此论文的收藏 3