Nous Research 发布 Token Superposition Training，可将 LLM 预训练速度提升高达 2.5 倍，覆盖 270M 至 10B 参数模型

Reddit r/singularity 工具
llm pre-training efficiency nous-research token-superposition mixture-of-experts

摘要

Nous Research 发布 Token Superposition Training (TST)，这是一种可将 LLM 预训练速度提升高达 2.5 倍的方法，覆盖 270M 至 10B 参数模型，在不改变架构或数据的情况下减少实际运行时间。

https://arxiv.org/abs/2605.06546 https://nousresearch.com/token-superposition 预训练大型语言模型的成本很高，即使是适度的效率提升也能转化为有意义的成本和时间节省。Nous Research 发布了 Token Superposition Training (TST)，这种方法能够在固定计算量下大幅减少预训练的实际运行时间，且无需改动模型架构、优化器、分词器、并行策略或训练数据。在 10B-A1B 混合专家模型规模上，TST 实现了比匹配 FLOPs 的基线更低的最终训练损失，同时仅消耗 4,768 B200 GPU 小时，而基线为 12,311 小时——总预训练时间减少了约 2.5 倍。
查看原文

相似文章

使用Token叠加的高效预训练

Hugging Face Daily Papers

Token叠加训练（TST）通过将连续token组合成包并在叠加阶段使用多热交叉熵目标，在不改变架构的情况下实现预训练时间最多减少2.5倍，从而提高LLM预训练效率。

先前问题中的计算能否帮助 LLM 解决新问题？

Hugging Face Daily Papers

本文提出 STAIR（Stale-Token Attention for Inter-query Reuse，跨查询复用的过时词元注意力）方法，将早期响应生成过程中的键值存储在固定存储库中，并仅训练 12,288 个参数来引导当前查询，在四个基准测试的 Qwen 模型上将后续轮次准确率提升最高达 11.67 个百分点。