token-superposition

Nous Research 发布 Token Superposition Training (TST)，这是一种可将 LLM 预训练速度提升高达 2.5 倍的方法，覆盖 270M 至 10B 参数模型，在不改变架构或数据的情况下减少实际运行时间。

Token叠加训练（TST）通过将连续token组合成包并在叠加阶段使用多热交叉熵目标，在不改变架构的情况下实现预训练时间最多减少2.5倍，从而提高LLM预训练效率。