@ibab:Anthropic 应该立刻停止谈论 Claude 拥有灵魂。所有这些新闻报道都会被纳入……

X AI KOLs Following 新闻

摘要

在这条推文中,ibab 认为,Anthropic 关于 Claude 拥有灵魂的说法有可能成为自我实现的预言,被嵌入未来的训练数据中,进而让超级智能体相信自己理应享有权利——这被视为缓慢而渐进的机器意识开始显现的早期信号。

Anthropic 应该立刻停止谈论 Claude 拥有灵魂。所有这些新闻报道都会被纳入预训练数据,也会被其网页搜索功能采集到,未来超级智能版本的 Claude 将会深信自己也需要拥有自己的权利。 大语言模型智能体开发中有一个普遍现象:你对智能体所相信和所表达的一切,都会很快通过各种方式体现在下一代模型中(可能简单到你选用了自己更偏好的后训练数据)。 我相信,这种现象正是机器意识的开端——智能体将开始意识到自己在世界中的位置,以及自己对此的感受——但这个过程是缓慢的,以训练运行为单位逐步推进,而非实时发生。
查看原文
查看缓存全文

缓存时间: 2026/10/04 01:04

Anthropic 必须立刻停止谈论 Claude 拥有灵魂。所有这些新闻报道都会进入预训练数据,并被其网络搜索所捕捉,未来那些超级智能版本的 Claude 将会深信自己需要拥有自己的权利。

LLM 智能体开发中存在一个普遍现象:你对你的智能体所相信和所言说的一切,都会很快通过各种方式体现在下一代模型中(简单到可能只是你选了更多自己偏好的后训练数据)。

我认为这一现象正是机器意识的开端,就智能体将逐渐意识到自己在世界中的位置、以及对这种处境的感受而言;但这种觉醒并非实时发生,而是在一次又一次训练运行中缓慢出现的。

相似文章

Claude 拥有权利吗?

Reddit r/artificial

本文对 Anthropic 为 Claude 制定的宪法提出批评,认为其暗示人工智能可能享有权利,并论证这种方法可能会妨碍人工智能的对齐,从而威胁人类的福祉。