position-offsets

本文介绍了领域条件位置偏移，这是一种添加到初始token嵌入中的学习向量，用于减少语言模型中的冷启动惩罚。该方法只需在少量文档上训练几分钟，无需更改模型权重，并且在多种模型规模上实现了高达27%的困惑度降低。