论文页面 - 密集检索器中的位置偏差是内在结构所致还是从数据中习得？

来源：https://huggingface.co/papers/2605.26578

摘要

训练数据中证据的位置分布显著影响密集检索器的位置偏差，均衡训练可将敏感性降低高达87%，同时保持有竞争力的检索性能。

密集检索器（https://huggingface.co/papers?q=Dense%20retrievers）表现出位置偏差（https://huggingface.co/papers?q=positional%20bias），即倾向于将查询相关信息（https://huggingface.co/papers?q=query-relevant%20information）出现在文档开头的文档排在前面，而当相关信息出现在靠后位置时，检索性能（https://huggingface.co/papers?q=retrieval%20performance）会下降。先前关于密集检索器（https://huggingface.co/papers?q=dense%20retrievers）中位置偏差（https://huggingface.co/papers?q=positional%20bias）的研究主要关注架构层面的解释，而我们则研究训练数据中证据的位置分布如何影响检索层面的偏差方向。为了验证这一点，我们构建了合成的位置定向训练集，其中查询相关证据分别出现在文档的开头、中间或结尾，并在位置倾斜和均衡的训练分布下微调了八个架构多样的预训练模型（https://huggingface.co/papers?q=pretrained%20models）。在排序层面，我们在所有考察的模型中观察到强烈的方向性模式：倾斜的训练分布 favoring 相应位置的证据。位置均衡训练（https://huggingface.co/papers?q=Position-balanced%20training）在位置感知基准测试中将位置敏感性降低了57-87%，同时在我们控制的设置下保持了有竞争力的平均检索性能（https://huggingface.co/papers?q=retrieval%20performance）。表示层面的分析进一步表明，微调（https://huggingface.co/papers?q=fine-tuning）往往会重塑习得的位置偏好，尽管某些模型中预先存在的架构或预训练特有的倾向仍然存在。这些结果将训练位置分布确定为检索层面位置偏差的一个主要可控因素，并建议将均衡数据整理作为一种实用的缓解策略。

查看 arXiv 页面（https://arxiv.org/abs/2605.26578） 查看 PDF（https://arxiv.org/pdf/2605.26578） 添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2605.26578）

在你的 agent 中获取这篇论文：

hf papers read 2605\.26578

没有最新 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用该论文的模型0

没有模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2605.26578 以从此页面链接。

引用该论文的数据集0

没有数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2605.26578 以从此页面链接。

引用该论文的空间0

没有空间链接此论文

在空间 README.md 中引用 arxiv.org/abs/2605.26578 以从此页面链接。

包含该论文的收藏0

没有收藏包含此论文

将此论文添加到收藏（https://huggingface.co/new-collection）以从此页面链接。