grouped-query-attention

本文挑战了“随着模型规模扩大，机制可解释性变得愈发困难”的假设，表明架构（特别是分组查询注意力与多头注意力之间的差异）对电路局部化和稳定性的影响比参数量更为关键。