non-hermitian

标签

Cards List
#non-hermitian

指纹,而非蓝图:位置方案如何设定注意力的默认谱代数

arXiv cs.LG · 2026-07-09 缓存

本文研究了注意力头中QK算子的谱性质,表明位置方案(RoPE、学习到的绝对位置、ALiBi)设定了一个默认的谱代数,它起到了功能确定后固化的指纹作用,而非硬约束。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈