标签
本文对位置编码的选择（RoPE 与 SWA NoPE 混合方案）如何影响上下文内检索进行了机制层面的分析，在 22 个开源权重模型上展开研究，表明混合位置编码会将检索机制从基于位置的方式转向基于语义的方式，从而解释了它们在长上下文上的性能提升以及相应的权衡取舍。
本文系统研究了百万token规模下的上下文检索，介绍了BlockSearch——一个0.6B参数的语言模型检索器，并分析了注意力稀释现象。该模型在MS MARCO和NQ等基准测试上达到或超越了密集检索的性能，并在需要不同相似性概念的任务上显著优于密集检索，突显了上下文检索的潜力，同时强调了在极端上下文增长下注意力控制的重要性。