eos-tokens

标签

#eos-tokens

当EOS Token产生分歧：理解在策略蒸馏中的长度膨胀现象

Hugging Face Daily Papers ↗ · 2026-09-17 缓存

本文研究了基于策略的蒸馏如何因师生模型间EOS token不匹配而导致输出长度膨胀，并提出了一种通过聚合EOS概率来减少响应长度的纠正方法。

0 人收藏 0 人点赞

← 返回首页

提交意见反馈