真实环境中的来源偏好:LLM 智能体如何偏爱特定来源的条目,以及如何缓解这一现象

Hugging Face Daily Papers 论文

摘要

本文研究 LLM 智能体在端到端搜索中表现出的来源偏好现象:即使某些网站或服务的条目满足的需求更少,智能体仍会偏爱来自特定来源的条目;研究表明,补充缺失信息或进行反提示,可以在 12 个智能体模型上有效减少这种偏差。

当 LLM 智能体代表用户决定购买哪款产品、预订哪家酒店或引用哪篇论文时,对特定来源(条目所在的网站或服务)的偏好会直接影响用户获得什么结果,以及哪些来源被选中。我们在三个领域中对 12 个智能体模型的端到端搜索过程展开了来源偏好研究。通过比较在相同位置上、满足相同要求的不同来源条目,我们发现每个模型在所有领域中都会偏爱某些来源并回避另一些来源,且各模型在偏爱哪些来源上基本达成一致。这种偏好甚至会盖过条目满足需求的优劣程度:当某个条目来自被偏爱的来源、而满足要求更全面的条目来自被回避的来源时,前者仍有约三分之二的概率被选中;而在相反的情况下则几乎从不被选中。标识条目来源的信息本身就会对选择产生影响:隐藏来源信息会削弱这种偏好,而将条目重新标注为来自被偏爱的来源则会提高其被选中的概率。我们检验了两种可能形成该偏好的途径:奖励更优条目的训练可能使某个来源成为满足需求的捷径;缺失的信息可能触发用户对该来源的固有印象。补充缺失信息或使用针对这些固有印象的反提示,能够有效减少来源偏好。
查看原文
查看缓存全文

缓存时间: 2026/10/05 04:46

论文页面 - Source Preference in the Wild: How LLM Agents Favor Items by Source, and How to Reduce It

来源:https://huggingface.co/papers/2610.03195

摘要

当 LLM 代理(agent)代表用户决定购买哪个产品、预订哪家酒店或引用哪篇论文时,它们对来自某些来源(即这些条目所在的网站或服务)的条目的偏好,会影响用户最终获得的内容以及哪些来源会被选中。我们在端到端搜索场景中,使用 12 个代理模型,跨三个领域研究了来源偏好。通过比较在相同位置上满足相同要求的、来自不同来源的条目,我们发现每个模型在每个领域中都偏好某些来源并回避另一些来源,并且各个模型在偏好哪些来源上大体一致。这种偏好甚至可以压过条目对用户请求的满足程度:当一个少满足一项要求的条目来自偏好的来源,而更好的条目来自不被偏好的来源时,前者仍会被选中约三分之二的情况,而在相反情形下则几乎从不被选中。标识条目来源的信息本身就会对选择产生影响:隐藏来源信息会削弱这种偏好,而将条目重新标注为来自某个受偏好的来源则会提高其被选中的概率。我们检验了这种偏好的两条成因路径:奖励更优条目的训练可能使来源成为满足要求的捷径;而信息缺失可能触发对来源的先验预设。补充缺失的信息,或在提示词(prompt)中反驳这些预设,都能降低来源偏好。

查看 arXiv 页面 (https://arxiv.org/abs/2610.03195) 查看 PDF (https://arxiv.org/pdf/2610.03195) 加入收藏 (https://huggingface.co/login?next=%2Fpapers%2F2610.03195)

在你的 agent 中获取这篇论文:

hf papers read 2610\.03195

还没有最新版 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本论文的模型 0

没有模型关联到本论文

在一个模型的 README.md 中引用 arxiv.org/abs/2610.03195,即可从本页面链接到该模型。

引用本论文的数据集 0

没有数据集关联到本论文

在一个数据集的 README.md 中引用 arxiv.org/abs/2610.03195,即可从本页面链接到该数据集。

引用本论文的 Spaces 0

没有 Space 关联到本论文

在一个 Space 的 README.md 中引用 arxiv.org/abs/2610.03195,即可从本页面链接到该 Space。

包含本论文的合集 0

没有合集包含本论文

将本论文加入一个合集 (https://huggingface.co/new-collection),即可从本页面链接到它。

相似文章

谁的事实能赢?知识冲突下大语言模型的信息源偏好

arXiv cs.CL

本论文通过研究检索增强生成中不同信息源的偏好,探究大语言模型如何处理知识冲突。研究发现大语言模型倾向于选择经机构验证的信息源,但这些偏好可通过重复而被逆转,论文提出了一种方法来减少重复偏差同时保持一致的信息源偏好。

学术论文推荐中对话搜索引擎的权威偏见

arXiv cs.AI

本文研究了在学术论文推荐中作为对话搜索引擎使用的LLMs中的权威偏见,发现LLMs对基于作者声誉和引用等权威信号的论文表现出显著偏好,而去偏措施仅部分有效。

偏好数据中引用的作用

arXiv cs.CL

本文研究了在科学问答中人类和LLM偏好中引用的作用,发现人类偏好多样但较少的引用,而LLM尽管缺乏源访问,却表现出更强的与引用相关的偏好。

缓解上下文干扰以实现可靠高效的搜索智能体

arXiv cs.CL

本文系统研究了基于多轮LLM的搜索智能体中的上下文干扰问题,发现干扰主要来自最新检索到的文档,并提出了一种基于蒸馏的上下文精炼器来缓解该问题。将上下文精炼纳入RL训练流程可显著提升可靠性和效率。