fsdp2

HyperParallel 是一个基于 PyTorch 的分布式加速库，专为 Ascend SuperPoD 优化，展示了比标准 PyTorch FSDP2 与 Muon 更高的训练吞吐量，同时保持损失收敛，如在 #PyTorchCon China 的演示中所展示。

KDFlow是一种新颖的大语言模型知识蒸馏框架，采用解耦架构，使用SGLang进行教师推理，FSDP2进行学生训练，相比现有框架实现了1.44倍至6.36倍的加速。

HRM-Text是一个10亿参数文本生成模型，采用受大脑启发的分层循环架构，仅用400亿token和约1000美元即可实现高效预训练，大幅降低计算和数据需求，使得基础模型训练更加可及。