full-attention

阿里巴巴通义实验室介绍了HydraHead，一篇提出新的注意力混合架构的研究论文，该架构在头部级别融合了全注意力和线性注意力，以构建更高效的长上下文模型。

HydraHead 是一种新颖的注意力混合架构，通过在头部层级结合完全注意力和线性注意力，利用可解释性驱动的选择和尺度归一化融合，实现长上下文性能卓越并减少训练开销。