activation-transfer

本文研究语言模型之间直接激活迁移是否能改善推理能力，使用从Pythia-160M到Pythia-410M的线性翻译层。尽管实现了高表示对齐，但迁移的激活并未改善多跳问答，产生了负面结果。