context-internalization

#context-internalization

当上下文回归：面向策略内蒸馏的稳健内化

arXiv cs.LG ↗ · 2026-06-11 缓存

论文发现，将特权上下文重新引入蒸馏后的学生模型会导致性能下降（上下文诱导退化），并提出了一种轻量级一致性正则化器，该正则化器锚定无上下文输出以缓解此问题，从而在12种配置中提高了稳健性。

0 人收藏 0 人点赞