training-systems

HyScale 提出了一种面向长上下文训练的学习型稀疏注意力系统，通过 HyTopK（免分数表的精确 top-k 选择）和选择重放（selection replay）技术，在 1M token 序列上将 GLM-5.1 训练速度提升至 Megatron-LM 的 2.07 倍。

本文作者分享了从nnScaler到大规模分布式训练系统的经验与思考，讨论了训练系统的正确性、灵活性、边界扩展以及后训练与强化学习带来的挑战。

LLMSys-PaperList 是一个在GitHub上精心策划的阅读列表，它将LLM系统研究论文和资源组织成实用的类别，如训练系统、服务系统和多模态覆盖，帮助AI/ML工程师和研究人员保持更新。