contextual-entrainment

本文将上下文夹带从标记级扩展到句子级，表明提示中的反事实句子在推理时也会增加其概率。该效应随模型规模增大而减弱，且由2-4%的注意力头驱动，这些注意力头可被消融而不影响性能。