标签
一项可重复性研究揭示了在Pre-LN Transformer中移除残差连接时产生的非对称效应：移除注意力跳跃导致崩溃，而移除FFN跳跃在较小规模下允许部分恢复。
介绍了一种三步法，用于识别预训练Transformer中的注意力头电路，该方法使用频谱信号和任务模式筛选，无需标签，并在51M到1B参数模型及多种架构上验证。