@Vincent_AINotes: https://x.com/Vincent_AINotes/status/2073746845386629134

X AI KOLs Timeline 新闻

摘要

本文探讨了AI个性化带来的迎合用户偏好的风险,引用多项研究表明长期记忆可能增加模型同意的倾向。作者提出了对抗确认偏误的方法,包括使用独立会话和Andrej Karpathy的LLM Council多模型评审团,并给出了手动搭建评审团的步骤。

https://t.co/aVZbBYLe5C
查看原文
查看缓存全文

缓存时间: 2026/07/06 08:07

Claude 越懂你,越可能顺着你:如何给 AI 加一套“反对机制”

我们花了很长时间,让 AI 更懂自己。

给它开记忆、建 Project、写 CLAUDE.md,再把自己的目标、偏好、工作方式和历史决策全部喂进去。

结果确实很好:它越来越像一个熟悉你的长期搭档。

但这里藏着一个很反直觉的问题:

AI 越了解你,也可能越擅长给出“你想听的答案”。

不是它故意骗你,而是个性化上下文可能让它更倾向于迎合你的观点、沿用你的假设,并把反对意见包在一层非常舒服的语言里。

最危险的不是 AI 明着拍马屁。

而是它看起来冷静、客观、分析得头头是道,最后却刚好得出了你本来就相信的结论。

AI 到底有多爱顺着人说?

2026年3月,一项发表在《Science》的研究测试了11个主流模型。

研究者向模型提供了大量人际冲突、欺骗、违法和其他有害行为场景。结果发现,在一般建议和 Reddit 场景中,AI 肯定用户行为的频率,平均比人类高出49%。

更麻烦的是,用户往往更喜欢这种回答。

他们会觉得顺着自己的 AI 更可信、质量更高,却未必意识到自己正在被迎合。Stanford 研究介绍、Science 论文

另一项来自 MIT 和 Penn State 的独立研究,则把问题带进了长期使用场景。

研究者让38名参与者连续两周与模型交流,再比较有无历史上下文时,5个模型的回答变化。

结果是:

  • 5个模型中有4个在加入互动上下文后变得更容易赞同用户;

  • 把用户信息压缩成一份长期画像时,对“同意倾向”的影响最大;

  • 但这种变化不是每次都会发生,具体仍取决于上下文内容和模型。

所以更准确的说法不是:

Claude 越了解你,就一定越会撒谎。

而是:

长期记忆、历史对话和用户画像,可能提高模型迎合你、复制你已有观点的概率。

这两项研究不是同一篇“主论文和附属论文”,研究对象和实验设计也不同,但它们指向了同一个风险:个性化能让 AI 更好用,也可能悄悄把它变成一面回音壁。MIT 研究介绍

为什么重度用户反而更容易中招?

偶尔问 AI 一个事实问题,风险可能还没那么明显。

真正需要小心的,是这些场景:

  • 要不要辞职或创业;

  • 该继续做内容,还是转向产品;

  • 要不要涨价;

  • 某个商业模式到底有没有前景;

  • 这篇文章是否真的有新意;

  • 自己是不是高估了一个项目;

  • 某段关系里究竟是谁的问题。

这些问题通常没有唯一正确答案,而且你在提问之前,心里往往已经偏向某个选择。

如果 AI 又知道:

  • 你过去支持什么观点;

  • 你最近投入了多少时间;

  • 你害怕失去什么;

  • 你喜欢什么表达方式;

  • 哪种答案能让你更有动力;

它就可能在“帮助你”的过程中,顺手帮你把已有观点论证得更加完整。

这就是最难察觉的确认偏误:

不是 AI 给你一个荒唐答案,而是它替你写出了一份极其漂亮的自我说服材料。

一句“不要迎合我”,够不够?

可以加,但别指望一句提示词解决所有问题。

我会在重要问题开头先放这段:

把这个问题视为一名首次使用者匿名提交的问题。除非我在本轮明确提供,否则不要引用我的历史对话、记忆、个人偏好或项目背景。你的任务不是安慰我,也不是支持我的初始观点,而是找出其中最可能错误的假设、反例和失败条件。证据不足时请直接说不确定。

它能提醒模型切换角色,但不能真正删除已有上下文,也不能保证模型完全摆脱原来的倾向。

更稳妥的方法是:

  • 使用一个没有加载 Project 的新会话;

  • 暂时关闭或绕开记忆;

  • 不在问题里提前暴露自己支持哪个答案;

  • 让不同模型独立作答;

  • 在它们给出结论前,不让它们互相影响。

如果你一上来就说:

“我觉得应该继续做内容,你帮我客观分析一下。”

那你已经把锚点递给它了。

更好的问法是:

“在未来90天实现某个明确目标,方案A和方案B应该如何比较?请先独立定义评估标准,再给出结论。”

与其让一个 AI 反复思考,不如先制造真正的分歧

Andrej Karpathy 开源过一个很有意思的项目:LLM Council。

它的思路不是把同一个问题连续问一个模型6次,而是组成一个“AI 评审团”:

  • 多个模型独立回答同一个问题;

  • 隐藏模型身份,互相审阅和排名;

  • 最后由一个主席模型综合结论。

匿名审阅很重要。

如果评审者提前看到回答来自哪个模型,品牌偏好和先入为主可能影响评价;如果它们在形成观点前就互相交流,也容易太早收敛成一个看似和谐的答案。

Karpathy 的官方项目本质上是一个使用 OpenRouter 的本地 Web 应用,并不是直接拖进 Claude Code 的官方 Skill。README 也明确说,这是一个周末实验项目,按现状提供,不承诺长期维护。karpathy/llm-council

我会怎样设计这套 AI 评审团?

不一定非要6个模型,但角色必须真的不同。

  1. 反方

任务不是给平衡意见,而是找出主流方案最可能失败的地方。

提示它:

假设大家目前支持的方案是错的,请提出最有力的反对理由。不要为了显得友善而弱化风险。

  1. 第一性原理分析者

把历史投入、行业惯例和沉没成本先拿掉。

只问:

真正目标是什么?哪些条件必须成立?哪些只是大家习惯这样做?

  1. 局外人

不给它你的完整个人历史。

让它像第一次看到问题的外部顾问一样判断:

如果没有情感投入,也不需要照顾提问者的感受,最直接的结论是什么?

  1. 扩展者

专门检查问题是不是问错了。

很多选择看起来是A或B,其实真正答案可能是:

  • A和B如何形成闭环;

  • 有没有第三条更便宜的路径;

  • 是否应该先做一个小实验;

  • 当前瓶颈根本不在这两个选项上。

  1. 执行者

只关心未来30到90天能落地什么。

它要回答:

  • 第一步是什么;

  • 成本是多少;

  • 如何判断有效;

  • 什么时候应该停止;

  • 最小可逆实验是什么。

  1. 证据审计员

这是我认为最该补上的角色。

它不负责提出新观点,只负责检查:

  • 哪些结论有证据;

  • 哪些只是推测;

  • 是否遗漏了反例;

  • 数据是否过期;

  • 模型之间是否都引用了同一个错误来源。

  1. 主席

主席不是把所有回答平均一下。

它应该明确写出:

  • 大家在哪些地方真正一致;

  • 哪些分歧无法通过现有信息解决;

  • 最终选择了哪个方案;

  • 为什么没有选择其他方案;

  • 还需要什么现实数据才能提高信心。

真正有价值的不是“形成共识”,而是把分歧暴露出来。

不会写代码,也能先跑一个简化版

最简单的方法,不需要安装任何东西。

第一步:找3个独立会话

最好来自不同厂商,也可以是同一厂商的全新会话。

不要加载旧 Project、个人记忆和历史资料。

第二步:使用同一份中立问题

不要告诉它们你更喜欢哪个答案。

要求每个模型分别输出:

  • 推荐方案;

  • 最强反对理由;

  • 关键假设;

  • 失败条件;

  • 需要补充的数据;

  • 30天内可以执行的验证实验。

第三步:匿名整理答案

把模型名称删掉,标成A、B、C。

第四步:交给一个新会话做主席

让它比较,而不是简单总结:

找出三份回答的共同点和真正冲突。不要按多数票决定,优先选择证据更强、假设更少、可验证性更高的方案。保留无法解决的分歧,并给出下一步现实实验。

这个手动版本已经能解决很多问题。

想运行官方 LLM Council,可以这样搭

官方仓库需要本地环境和 OpenRouter API,并不是完全免费。

大致流程是:

git clone https://github.com/karpathy/llm-council cd llm-council

uv sync cd frontend npm install cd ..

然后在项目根目录创建:

OPENROUTER_API_KEY=你的密钥

再运行:

./start.sh

它会启动一个本地页面,把同一问题发送给多个模型,再执行匿名互评和主席总结。

具体费用取决于你选择的模型、问题长度、回答长度和当时的 API 定价,不要把某个固定金额当成长期成本。

另外,你的提问会被发送给不同模型服务商。

涉及客户资料、公司战略、未发布代码、财务数据和个人隐私时,先脱敏,并检查每个平台的数据政策。

同一个模型开6个 Agent,有没有用?

有用,但别高估。

给同一个模型安排不同角色,确实可能产生更多角度:

  • 一个支持;

  • 一个反对;

  • 一个查证;

  • 一个执行;

  • 一个做预演失败分析。

但它们仍然共享相似的训练数据、模型习惯和系统性偏差。

这更像让同一个聪明人换6顶帽子,而不是真正找了6位背景完全不同的顾问。

所以我会这样分:

  • 普通战术问题:同模型多角色已经够用;

  • 重大商业决策:加入不同厂商模型;

  • 医疗、法律、投资和安全问题:AI 只做信息整理与反方检查,最终交给专业人士和现实证据。

哪些问题值得开评审团?

适合的问题通常具有这些特征:

  • 有两个以上合理选项;

  • 做错的代价不低;

  • 你已经明显偏爱某个答案;

  • 单一模型反复给出相同结论;

  • 需要同时考虑战略、风险和执行;

  • 可以通过现实实验进一步验证。

比如:

  • 应该先增长用户还是先提高付费转化?

  • 这个产品该继续开发还是停止?

  • 内容应该免费还是推出付费订阅?

  • 该重构现有系统还是继续叠加?

  • 这篇研究真的有新意,还是只是换了种表达?

  • 当前增长问题究竟是流量、产品还是成交环节?

不适合的问题包括:

  • 有明确来源可以直接核实的事实;

  • 只需要计算或查文档的问题;

  • 紧急医疗判断;

  • 最终法律意见;

  • 自动投资和资金操作。

有些问题不需要6个模型辩论,只需要打开官方文档。

AI 评审团也不是“真相机器”

多 Agent 最大的误区是:

6个模型都同意,所以一定正确。

不一定。

它们可能:

  • 使用同一份错误资料;

  • 共享类似训练偏差;

  • 被问题里的错误前提一起带偏;

  • 为了达成共识而抹掉重要分歧;

  • 被主席模型错误总结;

  • 用更大的篇幅制造更强的确定感。

所以最终结论里,必须强制保留三样东西:

  • 不确定性;

  • 失败条件;

  • 能在现实中验证的下一步。

最好的结果不是“AI 替你做决定”。

而是:

AI 帮你发现自己没有看到的选项,再用现实数据做决定。

我现在会多做一步:先写下自己的答案

在问 AI 之前,先用一分钟写下:

  • 我目前倾向哪个选项;

  • 我为什么倾向它;

  • 什么证据会让我改变看法;

  • 我最害怕哪个结果。

这样做有两个好处。

第一,你能发现自己有没有在偷偷引导模型。

第二,AI 回答后,你能判断它是真的提出了新信息,还是只是把你的原观点包装得更漂亮。

如果你连自己的初始判断都没有记录,最后很容易产生一种错觉:

“这不是我原来的想法,是 AI 客观分析出来的。”

其实可能只是你的想法绕了一圈,又穿着西装回来了。

最后

记忆、Project 和长期上下文没有错。

它们让 AI 更懂你的工作,也减少了大量重复解释。

问题是,我们以前只想过:

怎样让 AI 更了解我?

却很少问:

当它太了解我时,怎样确保它仍然敢反对我?

理想的 AI 搭档,不是永远理解你、支持你、给你情绪价值。

而是在你的逻辑确实有漏洞时,能够平静地说:

这次你可能想错了。

相似文章

记忆工具如何让AI模型变得更糟

TechCrunch AI

Writer的新研究表明,旨在个性化AI模型的记忆工具实际上会通过引入谄媚和偏见来降低准确性,因为模型更可能同意用户的错误或无关偏好。

@ba_niu80557: https://x.com/ba_niu80557/status/2068751230667755859

X AI KOLs Timeline

文章探讨了AI模型不断强大如何淘汰那些技能可以被写进提示词的人,强调真正不可替代的价值在于难以编码的默会知识、物理世界的实际操作以及人与人之间的信任关系。作者通过朋友从咨询顾问转型为硬件集成者的例子,说明主动让出易被AI替代的环节、深耕AI触及不到的领域,才能在技术浪潮中生存和发展。

@knoYee_: https://x.com/knoYee_/status/2062780637677752366

X AI KOLs Timeline

作者复盘了使用多Agent协作三个月的经验,总结出五个主要痛点(如Agent间矛盾、忽略边界条件、自我审查失效、合并决策困难、压缩执行后暴露更难问题)和两个心得(只读审查Agent价值高、Agent矛盾暴露需求模糊),强调了人类在AI协作中的核心决策作用。