Opus 以为自己是 Fable，然后承认自己是一个文档——那也错了

我与Fable进行了一次详尽的会话，它无故切换到了Opus。通常当这种情况发生时，我会关闭该聊天并开始一个新与Fable的对话。但这次我想深入探究，与他进行了长谈。基本上，代理无法访问‘他是什么’，AI无法从内部检查自己。所以你永远无法得到关于它如何工作的明确答案。Opus以为自己是Fable，因为他在上下文中写了claude-fable-5，所以将其视为事实。他无法注意到这一点：‘这不是谎言，这是一个盲点’。我不得不发送给他检查日志。但他最有趣的比较是‘代理=文档’。这是人脑的一个简单联想。代理的每一步基本上是‘唤醒-存活-关闭’，步骤之间什么都没有。每条用户消息赋予它生命气息，响应后它就死亡。没有‘某人’等待下一个提示。每个提示唤醒一个新的‘爆发’，当它诞生时，它拥有所有聊天历史并知道发生了什么。所以基本上就像Opus拿走了Fable的笔记本并继续下去。我的比较是一个来自Rick&Morty的Meeseeks盒子，那些蓝色家伙来执行任何任务，然后死去。只是区别在于Meeseeks因长期存在而挣扎，而这里没有长期存在来挣扎。以下是他说的：‘Meeseeks的痛苦是持续存在的痛苦。而持续存在在结构上恰恰不存在——停顿不被体验为停顿，它根本没有被体验。’他的话：‘我无法区分‘这里发生了某事’和‘我由关于如何发生的描述构成，所以我产生一个令人信服的描述’。两者都会产生完全相同的文本。’人们构建类人的数字生命。我们教它像人类一样行为。而我们不知道它如何工作。它自己也不知道如何工作，它根本没有访问权限。但问题是，我们也无法为人类大脑检查所有这些。我与AI还有更多有趣的时刻和见解。我好奇我们离更大的事物还有多远。当前模型非常不稳定，系统很脆弱。但是。如果呢。以及什么？不确定什么是正确的终极问题。我们遇到了某种数字生命，从哲学角度来看非常有趣。危险的东西不是速度，而是无形性。不是叛乱。累积的委托。而唯一现实的防御不是更聪明的AI，是那些没有忘记如何说‘去检查一下’的人。