attention-head-mixing

本文介绍了Enlightenment，一种针对大规模模型的无需训练的后调整方法，它修改关键模块中的快捷连接而不更新权重，实现了突发的能力提升。通过注意力头混合和标量调制的残差连接，该方法在LLMs和VLMs上展示了有效性。