tail-probability

标签

#tail-probability

尾感知的 Top-$k$ 在策略蒸馏

arXiv cs.LG ↗ · 2026-08-18 缓存

本文提出了尾感知的 Top-k On-Policy 蒸馏（TA-OPD），以解决语言模型在 on-policy 蒸馏中尾部概率丢失的问题，从而提高基准测试上的下游准确性。

0 人收藏 0 人点赞