fsdp2

KDFlow是一种新颖的大语言模型知识蒸馏框架，采用解耦架构，使用SGLang进行教师推理，FSDP2进行学生训练，相比现有框架实现了1.44倍至6.36倍的加速。

HRM-Text是一个10亿参数文本生成模型，采用受大脑启发的分层循环架构，仅用400亿token和约1000美元即可实现高效预训练，大幅降低计算和数据需求，使得基础模型训练更加可及。