pythia

本文介绍了一种针对大语言模型的自监督早期退出方法，允许在置信度较高时在中间层提前停止计算，从而降低推理成本。此外，还提出了动态自推测解码（DSSD），相比现有基线实现了更高的令牌接受率。

一个在550步内对两个指令遵循数据集进行微调的Pythia-6.9B模型，具备了13种语言的能力，相比基础模型有显著提升。

本文研究语言模型之间直接激活迁移是否能改善推理能力，使用从Pythia-160M到Pythia-410M的线性翻译层。尽管实现了高表示对齐，但迁移的激活并未改善多跳问答，产生了负面结果。