标签
一个开箱即用的代码仓库，通过 EMA 教师模型实现自蒸馏，将 LoRA 适配器与 DeepSpeed ZeRO-3 相结合，可扩展至大型模型，同时避免分别保留完整教师模型和学生模型所带来的内存与延迟开销。已在 Qwen3.5 和 ToolAlpaca 上完成测试，包含适配器切换、EMA 检查点保存以及内存优化的 DeepSpeed 配置。