teacher-supervision

标签

#teacher-supervision

SAKI：基于最大耦合路由的教师监督在线策略蒸馏

Hugging Face Daily Papers ↗ · 5天前缓存

SAKI引入了一种用于在线策略蒸馏的监督分配方法，该方法使用KL约束的教师引导展开和最大耦合来路由令牌级监督，从而提高小模型在数学推理基准测试上的性能。

0 人收藏 0 人点赞

← 返回首页

提交意见反馈