标签
文章提出了一种Multi-Key Attention的想法，其中单个注意力头使用多个Key投影，在softmax之前以非补偿方式组合，以更好地处理多约束检索任务，并寻求关于潜在缺陷和现有基准的反馈。