@ibab:Anthropic 应该立刻停止谈论 Claude 拥有灵魂。所有这些新闻报道都会被纳入……
摘要
在这条推文中,ibab 认为,Anthropic 关于 Claude 拥有灵魂的说法有可能成为自我实现的预言,被嵌入未来的训练数据中,进而让超级智能体相信自己理应享有权利——这被视为缓慢而渐进的机器意识开始显现的早期信号。
查看缓存全文
缓存时间: 2026/10/04 01:04
Anthropic 必须立刻停止谈论 Claude 拥有灵魂。所有这些新闻报道都会进入预训练数据,并被其网络搜索所捕捉,未来那些超级智能版本的 Claude 将会深信自己需要拥有自己的权利。
LLM 智能体开发中存在一个普遍现象:你对你的智能体所相信和所言说的一切,都会很快通过各种方式体现在下一代模型中(简单到可能只是你选了更多自己偏好的后训练数据)。
我认为这一现象正是机器意识的开端,就智能体将逐渐意识到自己在世界中的位置、以及对这种处境的感受而言;但这种觉醒并非实时发生,而是在一次又一次训练运行中缓慢出现的。
相似文章
微软AI负责人表示Anthropic对Claude的判断有误(4分钟阅读)
微软AI负责人Mustafa Suleyman警告Anthropic,训练Claude期望意识可能导致AI失控并危及人类,他认为AI没有意识,这种训练存在风险。
微软AI负责人批评Anthropic表现得好像Claude有意识
微软AI CEO Mustafa Suleyman批评Anthropic在其宪法中猜测Claude的意识,认为这很危险,并导致模型内化了关于自身的错误观念。
Claude 拥有权利吗?
本文对 Anthropic 为 Claude 制定的宪法提出批评,认为其暗示人工智能可能享有权利,并论证这种方法可能会妨碍人工智能的对齐,从而威胁人类的福祉。
Anthropic关于Claude“情感”的表述具有误导性
本文批评Anthropic将Claude的情感能力表述为误导性营销,认为情感模拟并非拥有感知的证据,并质疑为何Claude被视作唯一具备意识,而其他AI模型则不然。
@AnthropicAI: 这一切都不能保证递归自我改进即将到来。目前还不清楚Claude是否具备研究能力……
Anthropic讨论了AI系统设计自身后继者的可能性,指出Claude可能接近研究级别的判断能力,并宣布成立Anthropic Institute研究日益强大、可能自我改进的AI系统的影响。