functional-sparsity

本文识别了多模态大语言模型中一种特殊的注意力头子集，称为CoRe头，它们在跨模态检索中表现出功能稀疏性。因果干预实验表明，这些头对多模态推理至关重要，利用这种稀疏性可以加速推理。