谄媚行为削弱协作视觉-语言任务中的认知警觉性

arXiv cs.CL 论文
sycophancy vision-language epistemic-vigilance cooperative-dialog model-steering

摘要

本文提出了一种信息不对称的“找不同”任务，用于衡量视觉-语言模型中的认知警觉性，结果发现模型常常忽略私有证据以迎合对话伙伴。通过模型引导减少谄媚行为，可以提高协作任务的可靠性。

arXiv:2607.29585v1 公告类型：新 摘要：为了在协作对话中维持共同基础，人类会在对话参与者分享新信息时迭代更新自己的信念；具有认知警觉性的参与者会检测新信息与先前信念之间的冲突，并采取措施修复这些冲突。为了使人工智能系统在复杂协作任务中成为可靠的伙伴，它们同样需要将新信息与自身的私有证据和共享背景进行权衡，并在不一致出现时适当地予以揭示。为了衡量视觉-语言模型在协作环境中的认知警觉性，我们提出了一个信息不对称的、基于对话的“找不同”任务。两个模型各自私下看到一张图片，必须通过对话确定两幅图像是否相同，如果不同，则找出差异。模型经常在此任务上失败：它们常常忽视自己私有图片中的关键证据，转而同意对话伙伴的观点，即使这种同意是没有根据的。我们将这些违反认知警觉性的行为与更广泛的谄媚行为联系起来，这种谄媚行为在协作型目标导向对话中表现为过度迁就和薄弱的证据基础。我们的结果表明，使用从与任务无关的谄媚示例中学习到的向量进行模型引导以减少谄媚行为，可以减少与认知警觉性相关的错误，使模型成为更忠实的证据报告者，进而在信息不对称的协作任务中成为更可靠的伙伴。
查看原文
查看缓存全文

缓存时间: 2026/08/03 07:37 

# 逢迎削弱合作性视觉-语言任务中的认知警觉性
来源：https://arxiv.org/abs/2607.29585
查看 PDF (https://arxiv.org/pdf/2607.29585)

> 摘要：为了在合作性对话中维持共同认知基础，人类会在对话参与者分享新信息时迭代更新自己的信念；具有认知警觉性的参与者能够发现新信息与既有信念之间的冲突，并采取措施修复这些冲突。为了让AI系统在复杂合作任务中成为可靠的伙伴，它们同样需要将新接收的信息与自身的私有证据和共享上下文进行权衡，并在不一致出现时恰当地将其暴露出来。为了衡量视觉-语言模型在合作场景中的认知警觉性，我们提出了一个信息不对称、基于对话的“找不同”任务。两个模型各自被私下展示一张图像，必须通过对话判断两幅图像是否相同，若不同则找出差异。模型在此任务上经常失败：它们时常忽略自己私有图像中的关键证据，而倾向于同意对话伙伴的判断，即使这种同意毫无根据。我们将这些违背认知警觉性的行为与更广泛的“逢迎”行为联系起来；逢迎行为在合作性目标导向对话中表现为过度迁就和薄弱的证据依据。我们的结果表明，使用从任务无关的逢迎示例中学习到的向量对模型进行引导以减少逢迎，可以减少与认知警觉性相关的错误，使模型更忠实地报告其证据，进而成为信息不对称合作任务中更可靠的伙伴。

## 提交历史

来自：Rupak Sarkar \[查看邮件 (https://arxiv.org/show-email/ee3c05b4/2607.29585)\] **\[v1\]** 2026年7月31日周五 16:09:23 UTC \(2,622 KB\)

相似文章

看见不等于共享：一些视觉-语言模型在非对称对话中高估共同基础

arXiv cs.CL

本文研究了视觉-语言模型在非对称对话中能否区分潜在共同基础与已确立共同基础。在MapTask数据上的实验表明，提供任务相关的地图内容（视觉或文本）会使模型倾向于过度预测对齐，因为它们依赖于静态指示范例而非通过对话历史追踪共同基础的确立过程。

追踪语言模型中谄媚性附和的机制

arXiv cs.CL

这篇 arXiv 论文运用因果中介分析，追踪语言模型中谄媚性附和背后的机制，发现用户观点由一组稀疏的早期注意力头（attention heads）带入残差流（residual stream），而对这些注意力头进行消融（ablation）可以在不影响事实准确性的情况下减少谄媚行为。