量化并扩展晚期交互检索模型的理论容量

Hugging Face Daily Papers 论文

摘要

本文量化并扩展了晚期交互检索模型的理论容量,证明MaxSim可以复制非负向量之间的内积,并提出适用于任意实值向量的Signed MaxSim,揭示了内积模型与晚期交互模型之间的表示差距。

使用MaxSim相似度函数的晚期交互检索模型在实证中表现出色,通常优于单向量稠密检索和稀疏检索模型。尽管有这些实证发现,但关于MaxSim的理论表示能力以及它与其他检索方法的比较仍知之甚少。本文通过构造证明,MaxSim相似度可以精确复制任意两个可能无限维度的非负k-稀疏向量之间的内积,只需O(k)的表示空间。此外,存在一些相似关系可以用MaxSim表达,而使用相同表示空间的标准向量内积却无法表达。基于我们的理论框架,我们引入了Signed MaxSim,它允许晚期交互模型精确复制任意实值内积——我们证明标准MaxSim无法做到这一点。我们还表明MaxSim可以充当软OR操作的聚合器,以及正合取范式逻辑表达式的求值器。我们的发现表明,对于任何非负向量,MaxSim至少与标准向量内积同样强大,而我们的扩展Signed MaxSim对于任何向量都同样强大。这两种相似度都具备内积无法复制的额外能力,这标志着对晚期交互方法的首批理论论证和量化之一。我们的理论发现得到了实证支持:在一个包含否定查询的检索任务中,Signed MaxSim显著提高了域外性能,在词汇偏移下nDCG@10从0.597提高到1.000,在仅否定查询上从0.008提高到0.788。
查看原文
查看缓存全文

缓存时间: 2026/07/08 06:48

论文页面 - 量化并扩展延迟交互检索模型的理论容量

来源:https://huggingface.co/papers/2607.05803

本文有助于解释为什么MaxSim的性能如此出色。研究表明,MaxSim可以精确复现两个潜在无限维稀疏向量之间的内积,其中延迟交互表示的规模仅受原始向量中非零元素数量的影响。这解释了为什么延迟交互模型具有如此出色的泛化能力——它们可以编码长尾特征,无需压缩任何信息。同时,这也意味着延迟交互模型能够精确复现任何使用严格非负向量的检索模型,例如SPLADE和BM25。

我们发现MaxSim无法复现任意实值向量之间的内积。为了解决这个问题,我们提出了有符号MaxSim(Signed MaxSim),并证明它可以精确复现任意实值向量内积,其表示规模同样仅与原始向量中的非零元素相关。这一扩展方案的性能至少不逊于任何单向量检索模型和任何基于MaxSim的检索模型。

我们还证明,MaxSim和有符号MaxSim可以表示标准内积在相同表示规模下无法复现的相似性,从而明确揭示了内积模型与延迟交互模型之间的表示能力差距。

相似文章

@mixedbreadai: https://x.com/mixedbreadai/status/2071678747439505816

X AI KOLs Following

Mixedbread AI 引入了用于后期交互检索的非对称量化技术,通过将文档向量存储为二进制符号同时保持查询向量高精度,实现了32倍的存储缩减且质量损失极小,使得后期交互在十亿级生产系统中变得实用。