switch-distillation

标签

#switch-distillation

中期训练中的知识蒸馏更倾向于推理而非事实回忆

Hugging Face Daily Papers ↗ · 2026-09-01 缓存

本文介绍了Switch Distillation，这是一种新颖的中期训练目标，基于教师置信度选择性地应用知识蒸馏，以在较小的语言模型中改善推理并保留事实回忆。

0 人收藏 0 人点赞

← 返回首页

提交意见反馈