bank-of-values

本文研究了 transformer 注意力机制中深层向量的值向量是否需要来自残差流的上下文。它提出了值银行（BoV），该方法在最后三分之一层中使用无上下文的、针对特定 token 的值向量，相比标准注意力机制，提高了验证损失和基准测试得分。