论文页面 - DisaggKD：通过教师-学生解耦与融合损失实现高效知识蒸馏

来源：https://huggingface.co/papers/2610.17644

摘要

知识蒸馏（Knowledge Distillation, KD）框架通常将教师模型和学生模型部署在同一 GPU 上，因此单 GPU 的显存容量限制了可以使用的教师模型规模。DisaggKD 将教师与学生分离部署在不同节点上：教师副本将隐状态流式传输给学生，通过对行窗口（row windows）和词表分片（vocabulary shards）计算的 KD 损失在精确算术意义下等价于完整词表损失，且无需构造完整词表的 logits。预取环（prefetch ring）机制协调生产者与训练器的节奏。闭式的显存与流量模型可定位各部署方案的显存上限。在 Qwen3.5-35B-A3B 到 9B 的模型对上，解耦部署方案在相同损失下达到了与共置（colocated）运行一致的 LM 损失，且速度更快；我们的融合损失还能让共置部署在更少节点上以更快速度进行训练，而当学生模型跨越多个节点时，解耦部署在显存效率上更有优势。在更大的模型对上，即使使用融合损失，共置部署仍会出现 OOM，而解耦部署可以正常训练，因为教师权重与学生状态会占满显存预算。

查看 arXiv 页面（https://arxiv.org/abs/2610.17644） 查看 PDF（https://arxiv.org/pdf/2610.17644） 添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2610.17644）

在你的 agent 中获取此论文：

hf papers read 2610.17644

没有最新版 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

没有模型关联此论文

在模型的 README.md 中引用 arxiv.org/abs/2610.17644，即可从此页面链接过来。

引用此论文的数据集 0

没有数据集关联此论文

在数据集的 README.md 中引用 arxiv.org/abs/2610.17644，即可从此页面链接过来。

引用此论文的 Spaces 0

没有 Space 关联此论文

在 Space 的 README.md 中引用 arxiv.org/abs/2610.17644，即可从此页面链接过来。

包含此论文的合集 0

没有合集包含此论文

将此论文添加到合集（https://huggingface.co/new-collection）即可从此页面链接过来。