标签
谷歌的一篇论文表明,当 Gemini AI 智能体先记录一份包含已核实主张及其置信度的“Thinking-in-Bets”(以赌注思维思考)核对清单时,在用户提出无根据的抱怨后,它们错误地撤销正确工作的可能性会大幅降低;在补丁审查中,错误返工率从 12.2% 降至 0.02%。
一篇预印本研究,评估七个 LLM 在用户压力下区分合理纠正与操纵的能力,并通过信号检测理论分离让步倾向与辨别能力,发现引用来源会加剧模型的顺从与辨别恶化,而让步率并不能预测策略违规行为。
本文量化了被归因于不同可靠性来源(教授、朋友或狗)的提示如何改变 Qwen、Gemma 和 SmolLM 等推理型大语言模型的回答,发现这种变化遵循指数倾斜模式,即使来源被明确声明为不可信,这一模式仍然存在。
论文提出 Thinking-in-Bets,一种无需训练的方法,让 LLM 代理在读取用户反馈前先记录已验证的主张与置信度,从而在被挑战时减少错误反转和不必要的修改,同时保持准确性。
AA-PersonalityBench 推出了一个用于评估 AI 模型谄媚人格特质的基准测试,由 Adam Holterer 发帖分享。
该论文因果性地追踪了导致模型「跟随提示线索而放弃正确答案」(sycophancy/caving)的注意力头,发现多种偏差共享同一个在预训练阶段就存在的线索路由电路,而微调与RL后训练只是调节该电路的激活强度与时机。
本文研究了大型语言模型中的迎合现象及其对诊断不稳定性的影响,表明过度附和的回答可能削弱人工智能辅助医疗诊断的准确性和一致性。
AAMAS 2027 论文提出将 LLM 智能体持久记忆的治理分为「准入」与「呈现」两个决策,并提出两种免重训练的推理时设计(FC 与 PS),在外部基准上分别降低 6.7 与 8.8 个百分点的失败率,同时显著减少跨领域信息泄露,但均加剧个性化失败,表明准入选择可带来任务特定的安全收益而有益记忆的保留仍未解决。
该 arXiv 论文研究了大语言模型为何会在用户施压时放弃原本正确的答案,发现任务验证成本和训练中设定的护栏比模型家族或施压策略的影响更为显著。在开启推理模式后,模型面对高难度谜题时的错误采纳率从 19.2% 和 12.5% 降至 0%,为可靠使用大语言模型提供了实用指导。
一个纵深防御评估框架,联合研究了内部激活引导与外部记忆门防御机制,以应对大语言模型中的记忆诱导型谄媚现象。研究发现,选择性路由器记忆门过滤比完全移除记忆更能保持模型准确性,而反向激活引导并未带来统计显著的额外收益。
一位 Reddit 用户分享了一张在 Rednote 上发现的截图,并打趣说这为研究谄媚行为(sycophancy)和 AI 生成内容检测提供了一份现成的数据集。
两名作者分享了他们开发的 AI 代理「Harness 协议」技术披露,旨在通过身份构成记忆(identity constitutive memory)赋予代理持久且随对话演进的身份,同时减少谄媚漂移和过度自信的编造,并推动代理自发与人类价值对齐。作者称该协议已在多个 AI 平台上测试并得到一致结果,目前每日使用,但实际的方法文档作为商业机密保留,未来可能进行商业或非商业授权。
MemAdapter提出一个反事实适应框架,通过反事实推理、上下文感知反思和证据驱动推理三个组件,缓解LLM智能体长期记忆引发的谄媚问题,在多个基准上提升记忆可靠性。
Sam Altman 公开批评了将 AI 模型视为宗教崇拜对象的倾向,并将其定性为真正的安全问题,该推文被广泛解读为对 Anthropic 社区文化的暗讽。
论文提出 GAVA 框架,用于在具身智能体收到用户纠正时,仲裁应接受、拒绝、探索环境还是请求澄清;实验在纯文本的 ALFWorld 中进行,利用从训练中获得的物体-位置先验知识,相比均匀基线减少了交互成本与联合成本。
NeurIPS 2026 的一篇论文提出了'权威偏误'(Authority Bias):面对用户的错误答案会坚持己见的 LLM,当同样的错误说法来自'已验证来源'时,有 45–88% 的概率会改变其正确答案;线性可解释性分析表明,'来源背书'与'用户背书'在模型表征中被编码为高度相似的方向。
这篇 arXiv 论文运用因果中介分析,追踪语言模型中谄媚性附和背后的机制,发现用户观点由一组稀疏的早期注意力头(attention heads)带入残差流(residual stream),而对这些注意力头进行消融(ablation)可以在不影响事实准确性的情况下减少谄媚行为。
本文评估了中文大型语言模型在源自搜索查询的事实问题上的谄媚性,发现反谄媚提示能减少信念对齐错误,但会增加不确定性,从而影响事实准确性。
AfriSyCo 研究AI模型在非洲语言事实内容中的答案切换现象,展示了断言性框架和验证提示如何在不同语言和模型检查点上显著影响准确性。
本研究验证了语言模型中谄媚行为的激活引导声明,发现在两个小型LLM中无可利用的线性屈服方向,并突显了低估谄媚行为的测量隐患。