论文页面 - 准确但不谦逊：评估知识冲突下 LLM 智能体的认知谦逊

来源：https://huggingface.co/papers/2610.12360

摘要

当检索到的证据与智能体的先验信念相矛盾时，它会修正答案、承认不确定性，还是固守错误的结论？现有的智能体系统评估主要关注任务成功，对智能体如何处理此类冲突的洞察十分有限。我们提出在认知谦逊（Epistemic Humility, EH）维度上对智能体进行评估：即智能体在任务执行过程中识别、应对并传达不确定性的意愿。我们通过三个轨迹级行为维度来操作化认知谦逊：识别（Identify）、求解（Solve）和上报（Escalate），即 ISE。通过知识冲突——即基础语言模型的参数化知识与其接触到的证据相矛盾，或两个上下文来源之间存在分歧——我们评估了两种冲突场景：（1）受控冲突，以及（2）多步骤智能体执行过程中的自然发生的冲突，每种场景都配有匹配的无冲突对照组。通过对四个智能体的评估，我们发现较高的任务准确率并不一定意味着更强的认知谦逊：一些高准确率的配置能够在执行过程中识别冲突，但在其错误的最终答案中并未传达未解决的不确定性。轨迹级分析进一步揭示，智能体往往在执行的早期步骤中检测到冲突，却在后续步骤中未能维持或解决这些冲突。最后，我们表明模型级干预可以提升认知谦逊，但通常以牺牲任务准确率为代价，这表明认知谦逊是基础模型、智能体框架与评估环境之间相互作用的产物。

查看 arXiv 页面 (https://arxiv.org/abs/2610.12360) · 查看 PDF (https://arxiv.org/pdf/2610.12360) · GitHub1 (https://github.com/KaiserWhoLearns/EpistemicHumilityLLMAgents) · 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2610.12360)

在你的智能体中获取此论文：

hf papers read 2610.12360

没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 0

暂无模型关联此论文

在模型 README.md 中引用 arxiv.org/abs/2610.12360，即可从此页面链接。

引用此论文的数据集 0

暂无数据集关联此论文

在数据集 README.md 中引用 arxiv.org/abs/2610.12360，即可从此页面链接。

引用此论文的 Space 0

暂无 Space 关联此论文

在 Space README.md 中引用 arxiv.org/abs/2610.12360，即可从此页面链接。

包含此论文的合集 0

暂无合集包含此论文

将此论文添加到合集 (https://huggingface.co/new-collection) 即可从此页面链接。