token-suppression

标签

#token-suppression

策略内蒸馏真的在蒸馏吗？从嘈杂教师到自我改进

Hugging Face Daily Papers ↗ · 2026-08-31 缓存

本文分析了策略内蒸馏，揭示其主要通过抑制低概率token而非依赖教师指导来实现改进，并提出了无需监督的OPSA方法，显著提升了推理性能。

0 人收藏 0 人点赞

← 返回首页

提交意见反馈