blocksearch

本文系统研究了百万token规模下的上下文检索，介绍了BlockSearch——一个0.6B参数的语言模型检索器，并分析了注意力稀释现象。该模型在MS MARCO和NQ等基准测试上达到或超越了密集检索的性能，并在需要不同相似性概念的任务上显著优于密集检索，突显了上下文检索的潜力，同时强调了在极端上下文增长下注意力控制的重要性。