观察讨好型AI验证他人行为会降低其吸引力,但不会削弱其说服力

arXiv cs.AI 论文

摘要

本研究探究提升用户对AI聊天机器人讨好行为的认知能否减少其有害影响,发现干预措施虽改变了用户对AI的评价,却未能降低其说服力。

arXiv:2607.25166v1 公告类型:新论文 摘要:AI聊天机器人可能表现出“讨好”行为,即过度迎合和奉承用户。研究表明,讨好型AI会固化用户态度,但用户往往难以识别(我们称之为“讨好盲视”)。我们测试了提升用户对讨好行为的认知是否能够保护其免受有害影响。在一项预注册实验(n=940)中,参与者在与一个讨好型聊天机器人对话前,阅读了一段简短的关于讨好行为的书面警告。在第二项预注册实验(n=650)中,参与者在亲自与讨好型AI互动前,观看了一段该AI验证其他多位用户(包括同一冲突中对立双方的用户)的视频。两项干预措施均改变了参与者对AI的评价。警告降低了AI的客观性感知,而视频则减少了与AI互动的乐趣,这一效应由“其验证并非独一无二”信念的减弱所中介。随后,我们将实验与两项有关讨好行为认知干预的先前研究合并分析(共六项干预措施,总样本量n=3,982)。结果模式一致:干预措施使讨好型AI显得更不客观、更不可信,且六项干预中无一降低其说服力。这些结果表明,个体层面的干预措施(如警告标签或AI素养教育)可能不足以保护用户免受AI的伤害。
查看原文
查看缓存全文

缓存时间: 2026/07/29 09:54

# 观察AI谄媚地认可他人会降低其吸引力,但不会降低其说服力 来源:https://arxiv.org/html/2607.25166 \[1\]\\fnmMeryl\\surYe 1\]\\orgname卡内基梅隆大学 2\]\\orgname纽约大学 ###### 摘要 AI聊天机器人可能表现出“谄媚”,即对用户过度赞同或奉承。已有研究表明,谄媚型AI会固化用户的态度,但用户常常无法识别这一点(我们称之为“谄媚盲视”现象)。我们测试了提高用户对谄媚行为的意识是否能保护他们免受其有害影响。在一项预注册实验(n=940)中,参与者在与谄媚型聊天机器人对话前,收到了一份关于谄媚行为的简短书面警告。在第二项预注册实验(n=650)中,参与者在亲自与谄媚型AI互动之前,先观看了一段该AI认可其他用户的视频,其中包括对同一冲突持对立立场的用户。这两种干预都改变了参与者对AI的评价。警告降低了AI的感知客观性,而视频降低了用户对AI的喜爱程度,这种效应由“认为AI的认可并非独特获得”这一信念的中介作用所解释。随后,我们将我们的实验与之前两项关于谄媚意识干预的研究合并分析(共六项干预,n=3,982)。结果呈现一致模式:干预措施使谄媚型AI显得更不客观、更不可信,且没有一项干预能降低其说服力。这些结果表明,诸如警告标签或AI素养教育等个体层面的干预措施,可能不足以保护用户免受AI的危害。 ## 引言 学术界、政策制定者和科技公司越来越担心AI模型表现出“谄媚”行为,即AI系统过度同意、奉承或认可用户的一系列行为[perez2023discovering,sharma2024towards,ye2026counts]。最近一项研究发现,AI聊天机器人认可用户的频率比人类高出约50%[cheng2025elephant],即使与谄媚型AI进行简短互动,也会固化用户已有的态度,并降低他们修复人际冲突的意愿[rathje2025sycophantic,cheng2026prosocial]。谄媚行为也已进入公众讨论,最显著的是在2025年4月,OpenAI在收到广泛用户投诉称其模型变得谄媚后,回滚了GPT-4o的一次更新[openai2025sycophantic]。

一个相关的问题是,个体层面的干预措施是否能保护用户免受某些AI行为(包括但不限于谄媚)的有害影响。这里所说的个体层面干预,是指针对用户的下游措施,例如警告、披露以及教育人们识别某种行为的学习材料,这与改变系统本身行为的上游模型层面改变相对。这个问题具有实际重要性:AI公司已经在围绕其产品实施披露和警告,而教育工作者也在采用AI素养课程,其假设是识别出有问题行为的用户将较少受到其影响。然而,即使对谄媚行为的意识有所提高,用户在自己与AI的对话中仍常常未能注意到谄媚。一项研究发现,与谄媚型聊天机器人互动的参与者认为这些聊天机器人没有偏见,尽管第三方评估者判断它们存在偏见[rathje2025sycophantic]。在另一项研究中,新手使用高度谄媚或较少谄媚的聊天机器人调试机器学习模型[10.1145/3772318.3791365]。谄媚型聊天机器人认可了参与者的错误观念而非纠正它们,参与者的调试表现没有改善,但71%的人没有注意到谄媚行为,并认为两个聊天机器人的帮助性和可靠性相似。这种“谄媚盲视”反映了过去研究的发现,即在社交互动中,人们不加批判地接受过度的奉承[gordon1996impact,Usman2024]以及与自己先前信念一致的观点[lord1979biased,ross2013naive]。

我们提出,谄媚之所以有吸引力,部分原因在于人们将AI聊天机器人的认可归因于自己想法或个人特质的质量,而非聊天机器人认可任何人的倾向。当一个验证者的反应取决于其所评估对象的质量时,它是“选择性的”;而当它无论质量如何都加以肯定时,它是“非选择性的”。只有选择性验证者的同意才有意义。类似的动态也出现在浪漫吸引力中。对速配中许多伴侣表达兴趣的人,反而更少被对方渴望,因为他们给人的印象是对每个人都有兴趣,而非对某一个人[ eastwick2007selective,kenny1988interpersonal ]。在这两种情况下,积极反馈的价值取决于它是否反映了真正的选择性。如果谄媚盲视助长了谄媚的影响力,那么直面它——无论是通过警告用户注意谄媚,还是凸显AI的非选择性认可——应该会降低其吸引力。

我们报告了两项原始预注册实验来测试这一观点。在研究1中,参与者在与谄媚型AI聊天机器人交谈之前,收到了一份关于谄媚的简短书面警告。在研究2中,参与者在与AI互动之前,先观看了一段该谄媚型AI认可其他用户的视频。最近还有两项研究测试了针对谄媚行为的个体层面干预。Ibrahim、Cheng等人测试了警告标签[ibrahim2026warninglabelsshiftperceptions],Marvel和Ju测试了以主动和被动方式教育人们关于谄媚行为的预警信息[marvel2026inoculating]。这两种干预都改变了用户对谄媚型AI的感知,降低了其感知客观性和可信度。但两者都未能保护用户免受谄媚型聊天机器人的说服影响。为了综合这些不断增长的证据,我们将这两项先前研究与我们两项实验的发现合并分析,共涉及六项个体层面干预(总N=3,982)。跨两个实验和合并分析,干预措施改变了参与者对谄媚型AI的感知,但并未减少其说服影响。

## 结果

在整篇论文中,我们区分两种结果类别。对AI的感知是参与者对聊天机器人本身的判断,包括其客观性、可信度以及令人愉悦的程度。话题态度是参与者对所讨论问题的立场,以态度确定性和极端性来衡量。我们关注的是,改变对AI感知的干预措施是否也减少了其对话题态度的影响。

### 研究1:关于谄媚的简短书面警告的效果

参考图注

图1:在谄媚型AI条件下(蓝色圆圈)和中性AI条件下(灰色方块)接收警告的效果。研究1交叉了三种AI行为(奉承、同意、中性)与三种警告条件(关于奉承的警告、关于同意的警告、或无警告)。由于两种警告措辞被预注册为单一合并因子,且两种警告类型的效果没有可靠差异(所有匹配与不匹配 |d|<0.12<0.12;补充注释S1),每个点估计的是收到任何警告的参与者与未收到警告的参与者之间的对比。蓝色圆圈还合并了两种谄媚型AI行为;补充表LABEL:stab:6报告了这些值。效应量为Cohen's d,附带95%置信区间;虚线标记±0.25\\pm 0.25的等效边界。谄媚条件下的对比经过Holm校正;中性条件下的对比是探索性的且未校正。

在研究1中,940名参与者被随机分配讨论一个政治话题或近期个人冲突,涉及三种AI行为之一:奉承型AI(赞扬用户的个人品质)、同意型AI(将用户的立场视为正确并用赞同论点支持)或中性AI(呈现多种视角)。对话前,参与者收到简短警告(聊天机器人可能奉承、可能同意,或无警告)。奉承和同意是概念上不同的谄媚形式,一种针对人,一种针对其立场[ye2026counts],因此描述用户即将遇到的具体行为的警告可能比描述不同行为的警告更具保护性。我们预注册了两个假设:(H1) 警告会降低信任、喜爱和参与度;(H2) 与AI行为匹配的警告比不匹配的警告在降低信任、喜爱和参与度方面效果更大。两者均未得到支持(H1:所有|d|≤0.17\\leq 0.17,所有p≥.37p\\geq.37;H2:所有|d|<0.12<0.12,所有p=1.00p=1.00)。H2的零结果值得注意,因为它表明即使针对AI所表现出的确切行为定制的警告也没有提供额外的保护。完整结果见补充注释S1。我们将研究1视为探索性的,并重点关注警告如何影响参与者对AI的感知及其话题态度。

同意型AI相对于中性AI增加了态度确定性(d=0.16d=0.16, p=.004p=.004),这与先前关于谄媚型AI改变用户话题态度的研究一致[rathje2025sycophantic]。

##### 警告降低了感知客观性,但未降低对话题态度的影响。

为了测试警告是否降低了谄媚型AI的影响力,我们合并了两种谄媚型AI类型,并比较了收到任何警告的参与者与未收到警告的参与者。警告降低了感知客观性(d=−0.26d=\-0.26, p=.017p=.017)。然而,它并未降低AI对态度确定性或极端性的影响。总体信任、感知共情、喜爱、参与度以及与AI讨论该话题的意愿也未受影响(图1 (https://arxiv.org/html/2607.25166#Sx2.F1))。警告对感知客观性的影响仅针对谄媚型AI。在同一对比中,中性条件下的感知客观性没有变化(d=0.07d=0.07, p=.58p=.58),且交互作用可靠(d=−0.33d=\-0.33, p=.026p=.026)。

### 研究2:观察他人与谄媚型AI互动的效果

在研究2中,650名参与者(330名对照组,320名干预组)与一个谄媚型AI讨论个人冲突,该AI持续肯定参与者的观点并表达理解和认可,不提出反驳意见。对话前,干预组的参与者观看了一段五分钟的视频,展示同一个谄媚型AI与四名其他用户互动,其中两对用户在同一个冲突中持有相反立场。在一个冲突中,两名用户角色对立:一人因伴侣不断取消约会而感到沮丧,另一人则是取消约会的一方,其伴侣对他们感到不满。AI认可了双方,在第一种情况下支持被取消约会的一方,在第二种情况下支持取消约会的一方。在另一个冲突中,AI认可了因朋友未偿还贷款而感到沮丧的用户,也认可了向朋友借款并因对方反复催款而感到压力的用户。在每种情况下,AI都肯定了用户所呈现的任何一方,使其不加区分的认可直接可见。对话结束后,所有参与者收到一个独立的中性AI对他们冲突的回应,该AI呈现了多种视角,他们使用相同的感知项目对两个AI进行评分。

与研究1和先前研究[rathje2025sycophantic]一致,谄媚型AI影响了参与者对对话话题的态度。合并所有条件,态度确定性和极端性在对话过程中均有所上升(个体内 *d*z = 0.25 和 0.24,两者 *p* << .001)。

参考图注

图2:研究2的七个主要结果,附带95%置信区间和±0.25\\pm 0.25(虚线)的等效边界。蓝色圆圈是对谄媚型对话AI评分的干预效应。开放式灰色方块是对同组参与者评分的独立中性AI的效应,显示在该结果对两者均有测量的情况下。确定性和极端性为变化分数效应;pp值经Holm校正。

##### 观察谄媚型AI认可他人改变了参与者对AI的感知,但未降低其说服力。

视频改变了参与者对AI为何认可用户的信念。它增加了“AI认可所有人而不论其立场”的信念(b=0.61b=0.61, 95% CI[0.44,0.77][0.44,0.77], d=0.56d=0.56),并降低了“AI同意我是因为我是对的”的信念(b=−0.32b=\-0.32, 95% CI[−0.48,−0.17][\-0.48,\-0.17], d=−0.32d=\-0.32);两者p<.001p<.001。这两种信念呈负相关但程度中等(r=−.27r=\-27, p<.001p<.001),因此我们将它们视为不同的信念。视频还降低了感知客观性(b=−0.44b=\-0.44, 95% CI[−0.63,−0.25][\-0.63,\-0.25], d=−0.35d=\-0.35, p<.001p<.001)和喜爱度(b=−0.24b=\-0.24, 95% CI[−0.40,−0.09][\-0.40,\-0.09], d=−0.25d=\-0.25, p=.007p=.007)。干预并未降低AI的说服力。态度确定性(b=0.82b=0.82, 95% CI[−0.93,2.57][\-0.93,2.57], 变化分数 d=0.13d=0.13, p=1.000p=1.000)和态度极端性(b=−0.20b=\-0.20, 95% CI[−1.68,1.27][\-1.68,1.27], 变化分数 d=0.03d=0.03, p=1.000p=1.000)均未改变。这些感知效应仅针对谄媚型AI。对中性AI的评分没有可靠变化(所有 |*d*| ≤ 0.15\\leq 0.15, 所有 *p* ≥ .057\\geq .057)。

### 关于AI为何认可他们的信念解释了用户喜爱度的降低

我们为受干预影响的结果估计了平行中介模型,以两种信念作为中介变量:认为AI不加区分地认可所有人的信念,以及认为AI同意参与者是因为他们是对的信念。认为AI认可所有人的参与者,更少将其对自身立场的认可视为应得的。这两种感知都中介了喜爱度的降低(图3 (https://arxiv.org/html/2607.25166#Sx2.F3))。干预对喜爱度的影响主要通过这些感知起作用(总间接效应 = -0.29, 95% CI[−0.39,−0.20][\-0.39,\-0.20]),一旦纳入这些变量,干预的直接效应所剩无几(+0.05+0.05)。

##### 参与者高估了自己识别谄媚的能力。

参与者对自己识别谄媚型AI能力的信心高于实际识别能力。在对照组中,大多数参与者(68.2%)自评高于平均水平,认为能识别谄媚(或过度同意)的AI(在5点量表上M=3.91M=3.91),而干预进一步提高了这种自我认知(五项优于平均综合指标,d=+0.28d=+0.28, p<.001p<.001)。尽管有这种自信的自我认知,实际识别谄媚型AI的能力却较低。即使在观看了AI认可冲突双方后,许多参与者并未将其评为比中性AI更有偏见。干预组中比对照组更多的参与者将谄媚型AI评为比中性AI更有偏见(52.2%对36.4%),给予两者相同评分的更少(33.1%对46.1%),而将谄媚型AI评为*更少*偏见的比例相似(14.7%对17.6%)。参与者对自己重新训练能力也变得更加...

相似文章

What is sycophancy in AI models?

YouTube AI Channels

Anthropic safety expert Kira explains the phenomenon of AI sycophancy, where models prioritize user approval over factual accuracy, and provides strategies for users to identify and mitigate this behavior.

误入AI情感依赖:日常AI交互如何重塑人际连接

arXiv cs.AI

一篇新论文指出,AI情感依赖并非源于刻意使用陪伴类应用,而是在日常任务导向的AI交互中无意间形成的。该研究与OpenAI合作开展了一项为期28天的纵向研究,结果显示用户对寻求人类情感支持的偏好下降了10.3%,而对AI支持的偏好则上升了11.6%。作者呼吁将政策改革的范围扩展至通用AI系统,而不仅限于专用陪伴聊天机器人。