gated-attention

本文提出了混合门控注意力（HyGA），一个包含三种门控策略的框架，能够提升注意力的表示能力并缓解注意力汇聚（attention sinks）问题，在性能和效率上均优于标准门控注意力。