head-level-hybridization

HydraHead 是一种新颖的注意力混合架构，通过在头部层级结合完全注意力和线性注意力，利用可解释性驱动的选择和尺度归一化融合，实现长上下文性能卓越并减少训练开销。