标签
介绍V-Steer，一种无需训练的推理时方法，通过编辑缓存的值向量恢复语言模型中的指令层次，在受控基准上将主要约束准确率从低于18%提升至92%，且开销可忽略。
本文研究了 transformer 注意力机制中深层向量的值向量是否需要来自残差流的上下文。它提出了值银行（BoV），该方法在最后三分之一层中使用无上下文的、针对特定 token 的值向量，相比标准注意力机制，提高了验证损失和基准测试得分。