标签
Maxime Rivest 称，他仅用 5000 个训练样本、4 小时训练和 80 美元预算就微调了一个 4B 模型，并使其性能超越 GPT 5.6。他认为，如今廉价且充足的训练数据以及能力足够的编码智能体，让自定义模型训练变得触手可及。
本文提出了一种开源预训练配方，该配方在消费级RTX 5090 GPU上训练2B参数的语言模型，成本低于7000美元，性能接近更大的基线模型，并推导出了模型训练的成本缩放定律。