attention-maps

本文通过证明注意力图的尖锐度并非视觉-语言模型正确性的良好预测指标，挑战了“注意力-置信度假设”。相反，研究表明，隐藏状态的几何特征和自一致性更能反映模型的可靠性，并揭示了晚期融合模型与早期融合模型在架构上的显著差异。