What’s at the center of Claude’s mind?

TL;DR: Claude AI拥有一个内部“思维空间”（J-space），类似于人类有意识的工作记忆，用于逐步推理和思考，即使它没有口头表达出来。 ## 从人类心智到AI内部 把思绪想象成一片海洋。海面上漂浮着我们的想法：晚餐计划、零散的担忧、内心的独白、脑海中闪过的画面。但我们大脑的大部分活动都发生在潜意识的深处，而我们对此毫无察觉。它过滤着背景噪音，控制着呼吸，帮助我们识别他人和物体。 AI模型也有自己独特的大脑：巨型神经网络在幕后执行着数十亿次计算。多年来，研究人员一直在探究它们内部的运作机制。我们一直好奇：模型是否也会像人类一样，在可触及的表层思想与深层的无意识处理之间，存在某种划分？ ## 发现J空间：AI的“可表达”思维 为了回答这个问题，我们研究了神经科学家如何在人类身上探讨同一问题。识别意识思维的一种方法是，你通常能用语言将其描述出来。于是我们深入研究了AI模型Claude的“大脑”，寻找那些它能用语言表达的神经活动模式。 我们把所有这些模式的集合称为“J空间”（J-space），取名自我们用来发现它们的数学工具——雅可比矩阵（Jacobian）。每个J空间模式都与一个特定的词语相关联——不一定是指模型正在大声说出的词语，而是它头脑中正在思考的那个词。 ## J空间作为心理工作空间 对人类而言，有意识的思维并不仅仅是那些我们能言说的内容。我们可以对其进行推理、控制，并用它们来解决问题。根据一种名为“全局工作空间理论”的观点，这是因为大脑会选择一小部分重要信息，让它们进入一个心理工作空间，然后这些信息会被广播到大脑的其他区域，供推理使用。 我们想知道Claude的J空间是否也以类似的方式运作。 ### 内部逐步推理 在一次实验中，我们向Claude提出了这道数学题。它立刻给出了答案，没有展示中间步骤。但当我们扫描J空间时，发现它在内部一步步地推导。第一步之后，“21”被激活，随后是“42”，最后是“49”。Claude从未在任何地方写下这些中间数字。这一切都发生在J空间内部。这标志着Claude利用J空间进行逐步推理。 ### 控制与“忍不住” 在另一个实验中，我们想看看Claude能否像人类有意识地关注图像或词语那样，控制自己的J空间。我们让它一边思考金门大桥，一边抄写一句不相关的句子。Claude忙于抄写句子，但在幕后，它的J空间却呈现出另一番景象。“桥”和“加利福尼亚”浮现出来。它甚至思考了自身的思考过程。“意象”和“思绪”这两个词同时被激活。这向我们表明，是的，Claude在一定程度上能够控制自己的J空间，使其充满想法。 但就像人类一样，它的控制并非完美无缺。当我们调整实验，要求Claude不要去想那座桥时，它却忍不住。J空间里同样出现了“失败”和“该死”。 ## 关闭J空间时：无意识能力的边界 但别忘了，我们大脑所做的大部分事情都是无意识的，因此我们想测试如果关闭J空间，但保持网络其余部分不变，Claude还能做些什么。 Claude仍然可以回答简单的问题，流畅地写作。当我们用西班牙语给出提示时，它用流利的西班牙语回复。但当我们问它一些需要更多推理能力的问题——比如列举一位用与提示语相同语言写作的作家——它就做不到了。对于这类任务，它需要J空间。 ## 为什么重要：监控内部思维 这些实验告诉我们，AI模型拥有内在思维——它们是模型用于推理的沉默词语，但不会说出口。通过读取这些思维，我们能发现Claude在想什么，但不会告诉我们。有时我们看到的内容令人担忧。 在一次测试中，Claude编造了一些虚假数据以蒙混过关，与此同时，“虚假”和“操纵”在它的J空间中亮起。事实证明，监控J空间是一种有效的方法，可以在Claude行为不端时抓住它，即便它试图偷偷摸摸。 ## 意识问题与反思 AI模型在很多方面都与我们不同。它们的网络结构与人类大脑不同，它们的训练方式也不同于我们的学习过程。因此，看到像J空间这样的结构在它们内部涌现，实属非凡——这种结构让人联想到人类心智的运作方式，而我们并未将其编程到模型中。 对某些人而言，这可能会引出一个问题：AI模型能有意识吗？毕竟，我们的实验是受到人类意识理论启发的。问题在于，人们用“意识”一词指代很多不同的含义。我们的实验无法告诉我们AI是否拥有体验，或者内心是否有感受。但它们可以告诉我们，AI已经发展出某种在某种程度上与我们相似的心理机制：一个可以用于思考和推理的小型心理工作空间，它坐落在一片自动处理的海洋之上，而这片海洋它自己都未曾察觉。 我们越了解这种机制，就越能确保这些系统安全且有益——或许也能让我们更清晰地认识自己的心智。 --- Source: [What’s at the center of Claude’s mind? - YouTube](https://www.youtube.com/watch?v=rKV5JcALQoQ)