标签
本文研究将关于监督微调（SFT）的经验跨对齐训练、模型生物和玩具模型进行迁移，表明像基于行为原因的训练和混合模型内数据等技术可以改善泛化性和能力保持。
Elhage等人的《叠加的玩具模型》解释了可解释性为何困难：模型通过叠加来用少于特征维度的方式表示更多特征，导致多语义神经元作为压缩手段出现。这篇论文催生了稀疏自编码器的研究计划。