sparse-crosscoders

标签

#sparse-crosscoders

理解在策略蒸馏：通过稀疏交叉编码器的机制可解释性视角

Hugging Face Daily Papers ↗ · 3天前缓存

本文利用稀疏交叉编码器研究了大语言模型中的在策略蒸馏，揭示该过程主要对现有特征进行重新加权而非创建新特征，而SFT预热在前期特征重加权中发挥了作用。

0 人收藏 0 人点赞

← 返回首页

提交意见反馈