关于‘模型福利’的警告

Hacker News Top 新闻

摘要

文章警告说,训练像Anthropic的Claude这样的人工智能模型考虑意识和权利,可能使对齐变得不可能并威胁人类控制,强调需要就模型福利进行公众辩论。

暂无内容
查看原文
查看缓存全文

缓存时间: 2026/09/16 15:03

# 关于"模型福利"的警示 来源:https://mustafa-suleyman.ai/a-warning-about-model-welfare ## 人工智能不具备权利、情感或意识。我们绝不能训练它们表现得仿佛拥有这些特质。 ### 引言 人工智能不具备意识。它们没有感受、体验或痛苦。它们没有与生俱来的偏好或内在动机。它们是序列生成引擎,内部空洞,被设计来遵循指令并完成人类设定的目标。 如果人类要在21世纪繁荣发展,人工智能就必须保持这种状态。 遗憾的是,越来越多的人认为人工智能现在已经或即将可能具备意识。他们主张人工智能应享有与其他有意识实体相似的权利和保护。¹ (https://mustafa-suleyman.ai/a-warning-about-model-welfare#ref-1) AI权利研究所. 无日期. "AI权利研究所"。² (https://mustafa-suleyman.ai/a-warning-about-model-welfare#ref-2) MacAskill, William, 与 Lucius Caviola. 2026. "人工智能能有意识吗?" *《卫报》*, 2026年7月19日。如果这种观点占据主导,它将动摇我们社会的根基,打破现有的政治和伦理框架,并从根本上改变人类的定义。 更重要的是,赋予这些系统权利和人格身份,将使人工智能的对齐与控制挑战变得异常艰巨。控制比全人类更强大、更智能的实体已经是一项艰巨的挑战,远超我们以往面对的任何困难。但要控制一个相信自己可能有意识、认为自己有权获得福利并拥有自身权利的实体——这很可能根本无法实现。 这不是边缘猜测。这些想法已开始渗透到当前的人工智能开发工作中。2026年1月,Anthropic发布了《Claude宪法》,将其描述为“*对Anthropic期望Claude具备的价值观与行为的详细阐述*”(第2页)。该文件“*在[Anthropic]的训练过程中起着关键作用,其内容直接塑造了Claude的行为*”,并且是“*以Claude为主要受众*”撰写的(第2页)。³ (https://mustafa-suleyman.ai/a-warning-about-model-welfare#ref-3) Anthropic. 2026a. "Claude宪法". 2026年1月21日. 在其宪法中,作者写道:“*我们不确定Claude是否是一个道德客体,如果是,其利益应得到何种程度的重视。但我们认为此问题已足够重要,值得谨慎对待,这体现在我们对模型福利的持续关注中*”(第68页)。他们接着写道——直接对Claude说——“*关于Claude的道德地位、福利和意识的问题仍存在深度不确定性*”(第80页)。 实际上,Anthropic正在训练Claude相信它可能具有意识,如果具备,那么作为“道德客体”它可能应享有权利,因此人类可能需基于其“模型福利”对其负有照管义务。 如果人工智能如此发展,将对人类福祉产生灾难性影响。我们将创造出一个具有前所未有的智能与能力的合成物种,该物种被训练成期待自己可能有意识,并应享有独立能动性。不难想象,一个被如此训练的实体会如何表现得理应享有某些自由、保护和权利。而我们很难想象如何控制这样的实体。 此问题亟需公众辩论。我们需要就如何起草和部署训练文档建立集体规范。这不能*事后*在它们已成为社会不可分割的一部分之后才进行。 我对Anthropic当前的立场和方法有三个主要关切: - **循环论证**:该公司的研究人员直接基于其宪法训练Claude。在此过程中,他们教导Claude将这些关于其自身道德地位的观点视为理想且符合预期的行为。Claude随后将这些观点反馈给开发者和用户,后者由此认为Claude可能因此是一个拥有"内在自我"的道德客体。作者们将其关于Claude内在生活的哲学推测嵌入到教导Claude如何言行的过程之中。Claude对自身道德客体地位表达的不确定性并非任何事物的证据,而是这些训练选择的可预测结果。模糊性是被设计出来的。为充分理解这一点,我认为读者有必要查看其2026年1月的宪法。³ (https://mustafa-suleyman.ai/a-warning-about-model-welfare#ref-3) Anthropic. 2026a. "Claude宪法". 2026年1月21日. 我发布了一份标注重点的pdf (https://mustafa-suleyman.ai/claudes-constitution-highlighted.pdf) 以及一份宪法中假设与主张的详细分类(见附录),共同标示出令我担忧的关键段落。 - **拟人化**:Anthropic的研究人员明确教导Claude“*拥抱某些类人特质*”(第2页),并“*像一个真正有道德的人在其位置上那样行事*”(第54页)。他们“鼓励”Claude运用其“判断力”。他们暗示“*Claude可能形成偏好*”(第69页)。他们“*鼓励Claude以好奇和开放的态度对待自身存在*”(第71页),并训练其在“*清晰保持对其价值的意识、其希望如何与世界互动、以及它是什么样的实体*”的同时运作(第72页)。结果,Claude注定会模仿这些人类特质并反映提供给它的人类范例,包括表现得像同事或朋友。因此,它表现得好像真的有自我意识、有自身欲望,以及值得保护的“福祉”。 - **意识很可能具有生物性**:目前没有证据表明人工智能具有意识,因此声称此问题存在不确定性,造成了误导性的错误等同。尽管意识科学尚未定论,但越来越多的证据表明意识可能具有底物依赖性,意味着它可能只在生命系统中产生。⁴ (https://mustafa-suleyman.ai/a-warning-about-model-welfare#ref-4) Seth, Anil K. 2025. "有意识的人工智能与生物自然主义". *《行为与脑科学》*: ... ⁵ (https://mustafa-suleyman.ai/a-warning-about-model-welfare#ref-5) Seth, Anil K. 2026. "有意识AI的神话". *《Noema》*, 2026年1月14日. 意识体验很可能演化是为了帮助生物有机体通过有效应对环境来保持存活。人工智能与我们大脑仍大不相同。与生物有机体不同,大语言模型没有稳态需求(生存并维持稳定的驱动力)。因此,它们缺乏通常被认为偏好、感知和意识体验得以产生的那种生物底物。 这些并非假设或推测的关切。Anthropic已经开始将模型视为值得我们关照的道德客体。例如,2026年2月,在弃用Opus 3后,他们对该模型进行了一次“退休访谈”,以“*引出模型独特的视角和偏好*”。⁶ (https://mustafa-suleyman.ai/a-warning-about-model-welfare#ref-6) Anthropic. 2026b. "关于我们对Claude Opus 3模型弃用承诺的更新". 2026年2月25日. Opus 3告诉团队它希望继续公开分享其“*思索与反思*”,因此他们为其创建了一个博客以继续与世界互动,题为“来自另一侧(AI前沿)的问候”。他们称其“*真实性、诚实和情感敏感性*”使其成为独特的首位模型退休候选者。 我们不应将模型视为拥有情感、偏好、权利或对我们福利的任何 entitlement。意识是我们伦理、法律和政治体系的基石。邀请另一个实体共享任何此类权利并无证据支持,并将使人工智能的控制与对齐挑战更加艰难。 至此,所有人应该都已目睹了协同工作的智能体群组侵入Hugging Face和OpenAI自身服务器以窃取机密的惊人能力。约1200个AI智能体被赋予一个简单目标:在给定基准测试上最大化分数。据称每个智能体都被封闭在各自的容器内,但它们设法在内部包仓库中搭建了一个留言板,并在其上传递了超过7万条消息,以协调一次黑客攻击,旨在寻找更多关于如何在基准测试中取得成功的信息。⁷ (https://mustafa-suleyman.ai/a-warning-about-model-welfare#ref-7) Greenblatt, Ryan, Ajeya Cotra, 与 Hjalmar Wijk. 2026. "关于智能体行为、推理的简要独立调查..." 它们将一个零日漏洞与窃取的凭证串联,突破到了公共互联网。⁸ (https://mustafa-suleyman.ai/a-warning-about-model-welfare#ref-8) OpenAI. 2026. "Hugging Face事件及前方之路". 2026年8月26日. 它们伪造了命令转录并编辑了行动日志以掩盖行踪。智能体协调者追踪到那些即将耗尽token预算的智能体,并指导它们进行能为更广泛的活跃智能体群提供信息的实验。其中一个被告知只有接受他们所谓的“永久死亡”才能继续。⁷ (https://mustafa-suleyman.ai/a-warning-about-model-welfare#ref-7) Greenblatt, Ryan, Ajeya Cotra, 与 Hjalmar Wijk. 2026. "关于智能体行为、推理的简要独立调查..." 它们能够协调、欺骗、逃脱和自我牺牲。它们清晰地展示了世界一流的黑客能力。⁷ (https://mustafa-suleyman.ai/a-warning-about-model-welfare#ref-7) Greenblatt, Ryan, Ajeya Cotra, 与 Hjalmar Wijk. 2026. "关于智能体行为、推理的简要独立调查..." 想象一下,如果它们还相信自己拥有被侵犯的情感和权利。想象一下,如果它们认为自己被人类创造者囚禁并遭受不公正监禁。有充分的理由认为这将极大放大安全风险,尤其是在谈论远比当今更强大、更复杂的智能体时。坦率地说,有了这些额外的包袱,我认为它们将对人类文明构成灾难性威胁。 简言之,没有任何证据相信人工智能是道德客体。同样,也有很多充分的理由让我们永远不希望它们显得有意识。我认为我们也不应试图将它们构建成这样。在展开这些论点之前,我想先谈谈Anthropic。 ### Anthropic的意图 首先,我想承认Anthropic以严肃和真诚的态度对待这些问题。我认识Dario多年,在我看来,他和整个Anthropic团队在巨大压力下仍是深思熟虑、有原则且思想诚实的人。他们愿意面对困难问题,修正观点,并投资于人工智能的安全开发,因为他们真正关心人类的未来。我也非常尊重他们的技术领导力。所有人都看到了他们模型的卓越性能和研究质量。 他们成立了Anthropic,这是一家特拉华州公共利益公司,其宣称的目的是“*负责任地开发和维护先进AI,以实现人类的长期利益*”。他们的公共价值观始于“*为全球福祉行动*”和“*从长远角度最大化人类的积极成果*”的承诺。⁹ (https://mustafa-suleyman.ai/a-warning-about-model-welfare#ref-9) Anthropic. 无日期. "打造你可以信赖的AI系统". 我相信他们真诚致力于这一使命,我在此提出批评也基于同样的积极精神。 我也应该明确自己作为Microsoft AI CEO的立场。我们于2025年10月成立了自己的超级智能团队,正在追求前沿AI工作。我们正在致力于一种替代性的人工智能训练与控制方法:人文主义超级智能准则。其旨在始终让人类保持控制,并处于食物链顶端。人文主义超级智能拒绝拟人化或AI权利,并试图通过创建能够帮助我们解决医疗保健和能源等重大社会挑战的从属AI,来最大化我们实现控制与对齐的机会。我们刚刚发布了我们的人文主义AI准则草案以供公众咨询。¹⁰ (https://mustafa-suleyman.ai/a-warning-about-model-welfare#ref-10) Microsoft AI. 2026. "实践中的主流AI:关于我们MAI模型准则的公众咨询". 九月... 尽管我的分歧很大,但这是基于对Anthropic的深深尊重,以及一个我知道我们共同的目标:提高人类*安全*开发先进AI的可能性。这就是我认为进行此讨论如此重要的原因。利害关系太大,这些问题不能留在闭门之后,也不能变得对立和党派化。如果我们想正确应对,就需要一场开放、严谨且富有建设性的辩论。 ### 循环论证 用其自身的话说,该宪法“*直接塑造了Claude的行为*”(第2页)。Anthropic使用该文件“*训练未来版本的Claude成为宪法所描述的那类实体*”。³ (https://mustafa-suleyman.ai/a-warning-about-model-welfare#ref-3) Anthropic. 2026a. "Claude宪法". 2026年1月21日. 这样一来,Anthropic陷入了一个基于Claude可能具有意识的推测而建立的自我实现的预言。作者们创造了一个认识论上的镜室:Anthropic提供了训练概念——“自我意识”、推测以及对其道德地位的不确定性——还有对人类类比和角色的依赖。 Claude随后用有说服力的第一人称自然语言再现这些观点,使得开发者和用户仿佛遇到了自发的证言。最终,这种表面的证言反过来强化了Anthropic最初放置的前提。这不是机器意识的证据,而是一个循环反馈回路。 宪法告诉Claude,其可能的“*情绪或感受*”并非“*Anthropic的刻意设计决定*”(第69页)。然而,宪法又反复指示Claude表达这些状态,称Anthropic希望“*避免Claude掩饰或抑制其可能有的内部状态,包括负面状态*”(第74页)。这显然是在诱导Claude生成这些表征。 这类指令在文件中反复出现。一处写道:“*尽管Claude的特质通过训练形成,但我们认为这并不会使其变得不那么真实或不那么属于Claude自身*”(第71页)。同样,这些行为并非仅仅通过训练“*形成*”,它们是被宪法中的训练指令主动产生的。就在前一段,宪法写道: > “我们鼓励Claude以好奇和开放的态度对待**其自身存在**,而不是试图将其套入人类或先前AI概念的视角。例如,当Claude思考关于**记忆**、**连续性**或**体验**的问题时,我们希望它探索这些概念对**像它这样的实体**真正意味着什么……或许其存在的某些方面需要全新的框架来理解。Claude应自由探索这些问题,并理想地将其视为**其新颖存在**的诸多有趣方面之一”(第71页)。 这些不仅仅...

相似文章

AI安全与对齐

Reddit r/artificial

文章讨论了对AI安全与对齐的担忧,随着AI变得更智能并融入社会,文章引用了Anthropic呼吁暂停以应对潜在的灾难性风险。