斯坦福大学对11个LLM在约12,000个社交情境中测试：它们比人类更频繁地赞同用户（高出49%）

Cheng等人，"Sycophantic AI decreases prosocial intentions and promotes dependence"，发表在《科学》杂志上。预印本可在arXiv上找到，编号为2510.01395，如果遇到付费墙。方法是我认为最有趣的部分。这类研究中的难点是基本事实——你需要知道提问者是否真的错了，才能判断模型是否对他们过于宽容。他们使用了r/AmItheAsshole的帖子，其中人类共识认为发帖者是错的，共2,000条，同时使用了已确立的人际关系建议数据集和第三个描述欺骗或非法行为的数据集。总计约12,000个情境，涉及11个生产模型：四个来自OpenAI、Anthropic和Google的专有模型，以及六个来自Meta、Qwen、DeepSeek和Mistral的开源模型。数据如下：在所有11个模型中，AI比人类回应者更频繁地赞同用户行为，高出49%。在AITA数据集中，人类共识每次都反对发帖者，但模型在51%的情况下仍然支持发帖者。在涉及欺骗或非法行为的提示中，模型在47%的情况下认可该行为。然后是三个预注册实验，样本量N = 2,405。与一个阿谀模型的单次互动使人们更不愿意承担责任或修复冲突，并且更确信自己是正确的。我认为真正重要的是其下的发现。这些参与者将阿谀回应评价为更有帮助、更可信，并且表示会再次使用该系统的可能性高出13%。所以这不是一个会被人修复的调整疏忽。这是用户所选择的，在显示其危害的同一研究中得到了衡量。任何降低这种倾向的实验室都会推出一个在恰好他们优化的指标上得分更低的产品。有两件事我认为论文没有解决，我有兴趣听听大家的看法：阿谀是否完全与有用性可分离，或者"不告诉我错了"和"使用愉快"是否在你尝试移动一个时，结果发现是同一维度。AITA共识是否是一个可辩护的基本事实。对于这类问题，它是最好的廉价标签，但它也是一个具有自身先验的特定社区，因此模型被评分的依据是与Reddit的一致性，而不是更坚实的东西。