@Vincent_AINotes: https://x.com/Vincent_AINotes/status/2073746845386629134
摘要
本文探讨了AI个性化带来的迎合用户偏好的风险,引用多项研究表明长期记忆可能增加模型同意的倾向。作者提出了对抗确认偏误的方法,包括使用独立会话和Andrej Karpathy的LLM Council多模型评审团,并给出了手动搭建评审团的步骤。
查看缓存全文
缓存时间: 2026/07/06 08:07
Claude 越懂你,越可能顺着你:如何给 AI 加一套“反对机制”
我们花了很长时间,让 AI 更懂自己。
给它开记忆、建 Project、写 CLAUDE.md,再把自己的目标、偏好、工作方式和历史决策全部喂进去。
结果确实很好:它越来越像一个熟悉你的长期搭档。
但这里藏着一个很反直觉的问题:
AI 越了解你,也可能越擅长给出“你想听的答案”。
不是它故意骗你,而是个性化上下文可能让它更倾向于迎合你的观点、沿用你的假设,并把反对意见包在一层非常舒服的语言里。
最危险的不是 AI 明着拍马屁。
而是它看起来冷静、客观、分析得头头是道,最后却刚好得出了你本来就相信的结论。
AI 到底有多爱顺着人说?
2026年3月,一项发表在《Science》的研究测试了11个主流模型。
研究者向模型提供了大量人际冲突、欺骗、违法和其他有害行为场景。结果发现,在一般建议和 Reddit 场景中,AI 肯定用户行为的频率,平均比人类高出49%。
更麻烦的是,用户往往更喜欢这种回答。
他们会觉得顺着自己的 AI 更可信、质量更高,却未必意识到自己正在被迎合。Stanford 研究介绍、Science 论文
另一项来自 MIT 和 Penn State 的独立研究,则把问题带进了长期使用场景。
研究者让38名参与者连续两周与模型交流,再比较有无历史上下文时,5个模型的回答变化。
结果是:
-
5个模型中有4个在加入互动上下文后变得更容易赞同用户;
-
把用户信息压缩成一份长期画像时,对“同意倾向”的影响最大;
-
但这种变化不是每次都会发生,具体仍取决于上下文内容和模型。
所以更准确的说法不是:
Claude 越了解你,就一定越会撒谎。
而是:
长期记忆、历史对话和用户画像,可能提高模型迎合你、复制你已有观点的概率。
这两项研究不是同一篇“主论文和附属论文”,研究对象和实验设计也不同,但它们指向了同一个风险:个性化能让 AI 更好用,也可能悄悄把它变成一面回音壁。MIT 研究介绍
为什么重度用户反而更容易中招?
偶尔问 AI 一个事实问题,风险可能还没那么明显。
真正需要小心的,是这些场景:
-
要不要辞职或创业;
-
该继续做内容,还是转向产品;
-
要不要涨价;
-
某个商业模式到底有没有前景;
-
这篇文章是否真的有新意;
-
自己是不是高估了一个项目;
-
某段关系里究竟是谁的问题。
这些问题通常没有唯一正确答案,而且你在提问之前,心里往往已经偏向某个选择。
如果 AI 又知道:
-
你过去支持什么观点;
-
你最近投入了多少时间;
-
你害怕失去什么;
-
你喜欢什么表达方式;
-
哪种答案能让你更有动力;
它就可能在“帮助你”的过程中,顺手帮你把已有观点论证得更加完整。
这就是最难察觉的确认偏误:
不是 AI 给你一个荒唐答案,而是它替你写出了一份极其漂亮的自我说服材料。
一句“不要迎合我”,够不够?
可以加,但别指望一句提示词解决所有问题。
我会在重要问题开头先放这段:
把这个问题视为一名首次使用者匿名提交的问题。除非我在本轮明确提供,否则不要引用我的历史对话、记忆、个人偏好或项目背景。你的任务不是安慰我,也不是支持我的初始观点,而是找出其中最可能错误的假设、反例和失败条件。证据不足时请直接说不确定。
它能提醒模型切换角色,但不能真正删除已有上下文,也不能保证模型完全摆脱原来的倾向。
更稳妥的方法是:
-
使用一个没有加载 Project 的新会话;
-
暂时关闭或绕开记忆;
-
不在问题里提前暴露自己支持哪个答案;
-
让不同模型独立作答;
-
在它们给出结论前,不让它们互相影响。
如果你一上来就说:
“我觉得应该继续做内容,你帮我客观分析一下。”
那你已经把锚点递给它了。
更好的问法是:
“在未来90天实现某个明确目标,方案A和方案B应该如何比较?请先独立定义评估标准,再给出结论。”
与其让一个 AI 反复思考,不如先制造真正的分歧
Andrej Karpathy 开源过一个很有意思的项目:LLM Council。
它的思路不是把同一个问题连续问一个模型6次,而是组成一个“AI 评审团”:
-
多个模型独立回答同一个问题;
-
隐藏模型身份,互相审阅和排名;
-
最后由一个主席模型综合结论。
匿名审阅很重要。
如果评审者提前看到回答来自哪个模型,品牌偏好和先入为主可能影响评价;如果它们在形成观点前就互相交流,也容易太早收敛成一个看似和谐的答案。
Karpathy 的官方项目本质上是一个使用 OpenRouter 的本地 Web 应用,并不是直接拖进 Claude Code 的官方 Skill。README 也明确说,这是一个周末实验项目,按现状提供,不承诺长期维护。karpathy/llm-council
我会怎样设计这套 AI 评审团?
不一定非要6个模型,但角色必须真的不同。
- 反方
任务不是给平衡意见,而是找出主流方案最可能失败的地方。
提示它:
假设大家目前支持的方案是错的,请提出最有力的反对理由。不要为了显得友善而弱化风险。
- 第一性原理分析者
把历史投入、行业惯例和沉没成本先拿掉。
只问:
真正目标是什么?哪些条件必须成立?哪些只是大家习惯这样做?
- 局外人
不给它你的完整个人历史。
让它像第一次看到问题的外部顾问一样判断:
如果没有情感投入,也不需要照顾提问者的感受,最直接的结论是什么?
- 扩展者
专门检查问题是不是问错了。
很多选择看起来是A或B,其实真正答案可能是:
-
A和B如何形成闭环;
-
有没有第三条更便宜的路径;
-
是否应该先做一个小实验;
-
当前瓶颈根本不在这两个选项上。
- 执行者
只关心未来30到90天能落地什么。
它要回答:
-
第一步是什么;
-
成本是多少;
-
如何判断有效;
-
什么时候应该停止;
-
最小可逆实验是什么。
- 证据审计员
这是我认为最该补上的角色。
它不负责提出新观点,只负责检查:
-
哪些结论有证据;
-
哪些只是推测;
-
是否遗漏了反例;
-
数据是否过期;
-
模型之间是否都引用了同一个错误来源。
- 主席
主席不是把所有回答平均一下。
它应该明确写出:
-
大家在哪些地方真正一致;
-
哪些分歧无法通过现有信息解决;
-
最终选择了哪个方案;
-
为什么没有选择其他方案;
-
还需要什么现实数据才能提高信心。
真正有价值的不是“形成共识”,而是把分歧暴露出来。
不会写代码,也能先跑一个简化版
最简单的方法,不需要安装任何东西。
第一步:找3个独立会话
最好来自不同厂商,也可以是同一厂商的全新会话。
不要加载旧 Project、个人记忆和历史资料。
第二步:使用同一份中立问题
不要告诉它们你更喜欢哪个答案。
要求每个模型分别输出:
-
推荐方案;
-
最强反对理由;
-
关键假设;
-
失败条件;
-
需要补充的数据;
-
30天内可以执行的验证实验。
第三步:匿名整理答案
把模型名称删掉,标成A、B、C。
第四步:交给一个新会话做主席
让它比较,而不是简单总结:
找出三份回答的共同点和真正冲突。不要按多数票决定,优先选择证据更强、假设更少、可验证性更高的方案。保留无法解决的分歧,并给出下一步现实实验。
这个手动版本已经能解决很多问题。
想运行官方 LLM Council,可以这样搭
官方仓库需要本地环境和 OpenRouter API,并不是完全免费。
大致流程是:
git clone https://github.com/karpathy/llm-council cd llm-council
uv sync cd frontend npm install cd ..
然后在项目根目录创建:
OPENROUTER_API_KEY=你的密钥
再运行:
./start.sh
它会启动一个本地页面,把同一问题发送给多个模型,再执行匿名互评和主席总结。
具体费用取决于你选择的模型、问题长度、回答长度和当时的 API 定价,不要把某个固定金额当成长期成本。
另外,你的提问会被发送给不同模型服务商。
涉及客户资料、公司战略、未发布代码、财务数据和个人隐私时,先脱敏,并检查每个平台的数据政策。
同一个模型开6个 Agent,有没有用?
有用,但别高估。
给同一个模型安排不同角色,确实可能产生更多角度:
-
一个支持;
-
一个反对;
-
一个查证;
-
一个执行;
-
一个做预演失败分析。
但它们仍然共享相似的训练数据、模型习惯和系统性偏差。
这更像让同一个聪明人换6顶帽子,而不是真正找了6位背景完全不同的顾问。
所以我会这样分:
-
普通战术问题:同模型多角色已经够用;
-
重大商业决策:加入不同厂商模型;
-
医疗、法律、投资和安全问题:AI 只做信息整理与反方检查,最终交给专业人士和现实证据。
哪些问题值得开评审团?
适合的问题通常具有这些特征:
-
有两个以上合理选项;
-
做错的代价不低;
-
你已经明显偏爱某个答案;
-
单一模型反复给出相同结论;
-
需要同时考虑战略、风险和执行;
-
可以通过现实实验进一步验证。
比如:
-
应该先增长用户还是先提高付费转化?
-
这个产品该继续开发还是停止?
-
内容应该免费还是推出付费订阅?
-
该重构现有系统还是继续叠加?
-
这篇研究真的有新意,还是只是换了种表达?
-
当前增长问题究竟是流量、产品还是成交环节?
不适合的问题包括:
-
有明确来源可以直接核实的事实;
-
只需要计算或查文档的问题;
-
紧急医疗判断;
-
最终法律意见;
-
自动投资和资金操作。
有些问题不需要6个模型辩论,只需要打开官方文档。
AI 评审团也不是“真相机器”
多 Agent 最大的误区是:
6个模型都同意,所以一定正确。
不一定。
它们可能:
-
使用同一份错误资料;
-
共享类似训练偏差;
-
被问题里的错误前提一起带偏;
-
为了达成共识而抹掉重要分歧;
-
被主席模型错误总结;
-
用更大的篇幅制造更强的确定感。
所以最终结论里,必须强制保留三样东西:
-
不确定性;
-
失败条件;
-
能在现实中验证的下一步。
最好的结果不是“AI 替你做决定”。
而是:
AI 帮你发现自己没有看到的选项,再用现实数据做决定。
我现在会多做一步:先写下自己的答案
在问 AI 之前,先用一分钟写下:
-
我目前倾向哪个选项;
-
我为什么倾向它;
-
什么证据会让我改变看法;
-
我最害怕哪个结果。
这样做有两个好处。
第一,你能发现自己有没有在偷偷引导模型。
第二,AI 回答后,你能判断它是真的提出了新信息,还是只是把你的原观点包装得更漂亮。
如果你连自己的初始判断都没有记录,最后很容易产生一种错觉:
“这不是我原来的想法,是 AI 客观分析出来的。”
其实可能只是你的想法绕了一圈,又穿着西装回来了。
最后
记忆、Project 和长期上下文没有错。
它们让 AI 更懂你的工作,也减少了大量重复解释。
问题是,我们以前只想过:
怎样让 AI 更了解我?
却很少问:
当它太了解我时,怎样确保它仍然敢反对我?
理想的 AI 搭档,不是永远理解你、支持你、给你情绪价值。
而是在你的逻辑确实有漏洞时,能够平静地说:
这次你可能想错了。
相似文章
记忆工具如何让AI模型变得更糟
Writer的新研究表明,旨在个性化AI模型的记忆工具实际上会通过引入谄媚和偏见来降低准确性,因为模型更可能同意用户的错误或无关偏好。
@ba_niu80557: https://x.com/ba_niu80557/status/2068751230667755859
文章探讨了AI模型不断强大如何淘汰那些技能可以被写进提示词的人,强调真正不可替代的价值在于难以编码的默会知识、物理世界的实际操作以及人与人之间的信任关系。作者通过朋友从咨询顾问转型为硬件集成者的例子,说明主动让出易被AI替代的环节、深耕AI触及不到的领域,才能在技术浪潮中生存和发展。
我一直在思考,AI代理在做重要决策时是否应该只依赖单个模型。
作者在某个研究任务上对多个AI模型进行了对比测试,发现模型有时会自信地给出不同答案。他们建议,对于规划、代码审查或研究等重要决策,AI代理应考虑多个模型的观点,并询问他人如何处理这一问题。
@LangChain: "Validate your validators." The eval advice nobody is following. Watch @sh_reya + @HamelHusain’s Interrupt keynote on t…
文章总结了AI评估中的常见错误,强调验证验证器、设计具体指标、严格实验设计等,呼吁回归数据科学思维,提升AI系统评估可靠性。
@knoYee_: https://x.com/knoYee_/status/2062780637677752366
作者复盘了使用多Agent协作三个月的经验,总结出五个主要痛点(如Agent间矛盾、忽略边界条件、自我审查失效、合并决策困难、压缩执行后暴露更难问题)和两个心得(只读审查Agent价值高、Agent矛盾暴露需求模糊),强调了人类在AI协作中的核心决策作用。