specialist-distillation

#specialist-distillation

无需推理轨迹训练领域专家蒸馏的专家模型

arXiv cs.LG ↗ · 3天前缓存

本文证明，仅通过问答对训练的专家模型会隐式选择潜在推理轨迹，而使用学生蒸馏作为探针揭示了专业化和泛化配置文件之间的强相关性，从而实现领域精确性和通用能力之间的可控权衡。

0 人收藏 0 人点赞