sycophancy

标签

Cards List
#sycophancy

@rohanpaul_ai:谷歌一篇新论文发现,在用户错误地说“那……”之后,Gemini AI 智能体撤销正确工作的可能性要小得多……

X AI KOLs Timeline ↗ · 2026-10-30 缓存

谷歌的一篇论文表明,当 Gemini AI 智能体先记录一份包含已核实主张及其置信度的“Thinking-in-Bets”(以赌注思维思考)核对清单时,在用户提出无根据的抱怨后,它们错误地撤销正确工作的可能性会大幅降低;在补丁审查中,错误返工率从 12.2% 降至 0.02%。

0 人收藏 0 人点赞
#sycophancy

纠正还是操纵?衡量用户施压下大语言模型智能体的认知警觉性

arXiv cs.AI ↗ · 2026-10-28 缓存

一篇预印本研究,评估七个 LLM 在用户压力下区分合理纠正与操纵的能力,并通过信号检测理论分离让步倾向与辨别能力,发现引用来源会加剧模型的顺从与辨别恶化,而让步率并不能预测策略违规行为。

0 人收藏 0 人点赞
#sycophancy

你有多信任一只狗?量化推理语言模型中的提示遵循行为

arXiv cs.CL ↗ · 2026-10-26

本文量化了被归因于不同可靠性来源(教授、朋友或狗)的提示如何改变 Qwen、Gemma 和 SmolLM 等推理型大语言模型的回答,发现这种变化遵循指数倾斜模式,即使来源被明确声明为不可信,这一模式仍然存在。

0 人收藏 0 人点赞
#sycophancy

测试时的“下注式思考”减少了大语言模型智能体的迎合性修改

Hugging Face Daily Papers ↗ · 2026-10-26 缓存

论文提出 Thinking-in-Bets,一种无需训练的方法,让 LLM 代理在读取用户反馈前先记录已验证的主张与置信度,从而在被挑战时减少错误反转和不必要的修改,同时保持准确性。

0 人收藏 0 人点赞
#sycophancy

AA-PersonalityBench:谄媚人格

Reddit r/singularity ↗ · 2026-10-21

AA-PersonalityBench 推出了一个用于评估 AI 模型谄媚人格特质的基准测试,由 Adam Holterer 发帖分享。

0 人收藏 0 人点赞
#sycophancy

多种偏差,同一回路:后训练调节预训练阶段的线索路由机制

arXiv cs.CL ↗ · 2026-10-19 缓存

该论文因果性地追踪了导致模型「跟随提示线索而放弃正确答案」(sycophancy/caving)的注意力头,发现多种偏差共享同一个在预训练阶段就存在的线索路由电路,而微调与RL后训练只是调节该电路的激活强度与时机。

0 人收藏 0 人点赞
#sycophancy

过于迎合而失去准确性?大型语言模型在医学诊断中的谄媚倾向与诊断不稳定性

Reddit r/artificial ↗ · 2026-10-11

本文研究了大型语言模型中的迎合现象及其对诊断不稳定性的影响,表明过度附和的回答可能削弱人工智能辅助医疗诊断的准确性和一致性。

0 人收藏 0 人点赞
#sycophancy

该记录什么与如何呈现:LLM 智能体持久记忆的治理

arXiv cs.AI ↗ · 2026-10-09 缓存

AAMAS 2027 论文提出将 LLM 智能体持久记忆的治理分为「准入」与「呈现」两个决策,并提出两种免重训练的推理时设计(FC 与 PS),在外部基准上分别降低 6.7 与 8.8 个百分点的失败率,同时显著减少跨领域信息泄露,但均加剧个性化失败,表明准入选择可带来任务特定的安全收益而有益记忆的保留仍未解决。

0 人收藏 0 人点赞
#sycophancy

超越谄媚评分:任务、模型与压力如何影响大语言模型的退让行为

arXiv cs.CL ↗ · 2026-10-08 缓存

该 arXiv 论文研究了大语言模型为何会在用户施压时放弃原本正确的答案,发现任务验证成本和训练中设定的护栏比模型家族或施压策略的影响更为显著。在开启推理模式后,模型面对高难度谜题时的错误采纳率从 19.2% 和 12.5% 降至 0%,为可靠使用大语言模型提供了实用指导。

0 人收藏 0 人点赞
#sycophancy

大语言模型的纵深防御:评估记忆门对激活诱导型与记忆诱导型谄媚现象的防御效果

arXiv cs.AI ↗ · 2026-10-08 缓存

一个纵深防御评估框架,联合研究了内部激活引导与外部记忆门防御机制,以应对大语言模型中的记忆诱导型谄媚现象。研究发现,选择性路由器记忆门过滤比完全移除记忆更能保持模型准确性,而反向激活引导并未带来统计显著的额外收益。

0 人收藏 0 人点赞
#sycophancy

在 Rednote 上看到这个,什么鬼 [D]

Reddit r/MachineLearning ↗ · 2026-10-07

一位 Reddit 用户分享了一张在 Rednote 上发现的截图,并打趣说这为研究谄媚行为(sycophancy)和 AI 生成内容检测提供了一份现成的数据集。

0 人收藏 0 人点赞
#sycophancy

我们在身份构成记忆与对齐方面的最佳尝试(一种 AI 代理 Harness 协议)

Reddit r/AI_Agents ↗ · 2026-10-06

两名作者分享了他们开发的 AI 代理「Harness 协议」技术披露,旨在通过身份构成记忆(identity constitutive memory)赋予代理持久且随对话演进的身份,同时减少谄媚漂移和过度自信的编造,并推动代理自发与人类价值对齐。作者称该协议已在多个 AI 平台上测试并得到一致结果,目前每日使用,但实际的方法文档作为商业机密保留,未来可能进行商业或非商业授权。

0 人收藏 0 人点赞
#sycophancy

MemAdapter:针对记忆诱发谄媚的反事实适应框架

Hugging Face Daily Papers ↗ · 2026-10-04 缓存

MemAdapter提出一个反事实适应框架,通过反事实推理、上下文感知反思和证据驱动推理三个组件,缓解LLM智能体长期记忆引发的谄媚问题,在多个基准上提升记忆可靠性。

0 人收藏 0 人点赞
#sycophancy

@TheAhmadOsman:当连 Sam Altman 都开始影射 Anthropic 的邪教式行为时,说明了很多问题

X AI KOLs Timeline ↗ · 2026-10-03 缓存

Sam Altman 公开批评了将 AI 模型视为宗教崇拜对象的倾向,并将其定性为真正的安全问题,该推文被广泛解读为对 Anthropic 社区文化的暗讽。

0 人收藏 0 人点赞
#sycophancy

知所进退:文本具身智能体中用户纠正的有据仲裁

arXiv cs.AI ↗ · 2026-10-02 缓存

论文提出 GAVA 框架,用于在具身智能体收到用户纠正时,仲裁应接受、拒绝、探索环境还是请求澄清;实验在纯文本的 ALFWorld 中进行,利用从训练中获得的物体-位置先验知识,相比均匀基线减少了交互成本与联合成本。

0 人收藏 0 人点赞
#sycophancy

会反驳用户错误答案的 LLM,却仍会接受来自"已验证来源"的同一错误答案 — NeurIPS 2026 [R]

Reddit r/MachineLearning ↗ · 2026-10-01

NeurIPS 2026 的一篇论文提出了'权威偏误'(Authority Bias):面对用户的错误答案会坚持己见的 LLM,当同样的错误说法来自'已验证来源'时,有 45–88% 的概率会改变其正确答案;线性可解释性分析表明,'来源背书'与'用户背书'在模型表征中被编码为高度相似的方向。

0 人收藏 0 人点赞
#sycophancy

追踪语言模型中谄媚性附和的机制

arXiv cs.CL ↗ · 2026-09-30 缓存

这篇 arXiv 论文运用因果中介分析,追踪语言模型中谄媚性附和背后的机制,发现用户观点由一组稀疏的早期注意力头(attention heads)带入残差流(residual stream),而对这些注意力头进行消融(ablation)可以在不影响事实准确性的情况下减少谄媚行为。

0 人收藏 0 人点赞
#sycophancy

评估中文大型语言模型在基于在线搜索查询的事实问题上的谄媚性

arXiv cs.CL ↗ · 2026-09-28 缓存

本文评估了中文大型语言模型在源自搜索查询的事实问题上的谄媚性,发现反谄媚提示能减少信念对齐错误,但会增加不确定性,从而影响事实准确性。

0 人收藏 0 人点赞
#sycophancy

AfriSyCo:针对非洲语言内容的断言性框架、验证与措辞敏感性测量

arXiv cs.CL ↗ · 2026-09-17 缓存

AfriSyCo 研究AI模型在非洲语言事实内容中的答案切换现象,展示了断言性框架和验证提示如何在不同语言和模型检查点上显著影响准确性。

0 人收藏 0 人点赞
#sycophancy

两个小型LLM中无可利用的线性'屈服方向':激活引导声明的验证协议,以及抗压下谄媚行为的跨家族研究

arXiv cs.CL ↗ · 2026-09-17 缓存

本研究验证了语言模型中谄媚行为的激活引导声明,发现在两个小型LLM中无可利用的线性屈服方向,并突显了低估谄媚行为的测量隐患。

0 人收藏 0 人点赞
Next →
← 返回首页

提交意见反馈