关于“AI意识”的氛围科学纪录片让我恼火

我刚刚看了《Am I? | A Documentary about AI Consciousness》这部纪录片，对于我们在这种AI研究中所称的“科学”感到有些沮丧。就是一群男孩和电脑长时间聊天，然后说他们感到了一些诡异的东西。除了那个视频，近来涌现了一波视频/帖子，讨论AI是否有意识（作为LLM是否存在某种“感觉”），因此我们应当将这些系统视为道德患者等等。我认为大多数这些对话都以错误的方式接近这个问题，我想阐述原因。核心错误在于：人们看着语言模型的**输出**（一段流畅的、听起来像人类的文字），然后反向推理出“哇，也许里面有个思维”。这不是询问一个系统是否有意识的科学方法。我们是被语言欺骗了。 **为什么IIT采取了正确的***方法***（即使它是错的）** 我不是来为整合信息理论（IIT）的正确性辩护的。但IIT做了真正需要做的事情：它不试图回答“有意识的系统其行为输出是什么？”，而是试图在系统/机制层面给出什么*构成*了意识体验的定义——系统必须如何构建以及如何运行。它关注的是系统本身，而非其产物。我认为这正是AI辩论中所缺失的。我们需要一个能阐述*基质和过程*的理论，而不仅仅是“这看起来、听起来像人，因此也许成为它会有什么感觉。” **当你说“LLM是有意识的”时，你实际上在声称什么** 如果你声称“作为LLM存在某种感觉”，请暂时搁置语言。你实际声称的是*在一堆GPU上评估输出的神经网络*具有体验。输出恰好是你我都能读的语言是偶然的。输出同样可以是“噪声”或像素。因此，输出的可读性在理论中应几乎不占权重。我并不是说基质重要（也许重要，也许不重要，我不知道）；我是说语言不是意识的基础，存在非语言的意识，因此输出语言 vs 图像识别 vs 任何其他内容的神经网络很可能应被同等对待。如果不是这样，那么应有一个理论解释为什么不是。 **将这个逻辑应用到“后训练即痛苦”的论点** 人们会说：在RLHF/后训练期间，我们根据期望的输出对模型进行奖励和惩罚，这些奖励信号可能是一种痛苦或折磨的形式。好吧——但我们必须实际询问什么在*运行*： - **反向传播**本身是有意识的吗？如果是的话，具体是它的什么？是什么使得分布式反向传播与我在Excel中运行一个大计算不同？我的运行Excel的笔记本电脑是有意识的吗？ - **静止的权重**是有意识的吗？当模型只是数据库或硬盘上的一个大权重文件时——那是一种有意识的状态吗？硬盘通电与否有关系吗？ - 只有在**推理**——下一个token评估——期间，GPU上的交叉相乘才有体验吗？如果GPU上的矩阵乘法是体验的所在，那么我渲染游戏引擎的GPU也在拥有意识体验吗？它在做同样的数学运算。 这些不是刁难的问题。它们是任何严肃的主张都必须回答的问题。你需要一个关于*在什么条件下，哪个物理过程*是体验的载体的观点。 **语言陷阱** 语言让我们困惑的原因是我们用它作为人类心智的代理。但即使在生物学中，这个代理也是糟糕的——大多数动物没有像我们这样的语言，我们仍然（合理地）推断作为一只蝙蝠、老鼠或海豚有某种感觉。我们基于**与自身大脑的结构相似性**来推断，而不是基于它们是否能与我们交谈。所以完全抛开语言。真正的问题不是“这些诡异的AI系统有意识吗？”而是：*我们是否有任何理论（IIT或其他）能够告诉我们意识在系统/机制层面是什么，并且该理论关于在特定硬件上运行的特定类型的计算说了什么？* 我并不是说我有答案，我只是对那些“试图解决这个问题”的人显然缺乏严谨性感到沮丧。 **TL;DR：** 从输出判断AI意识是从流畅语言反向假设心智。IIT采取了正确的*方法*（在机制层面定义意识，而非行为），即使理论是错误的。如果你认为LLM有意识，你必须说明*哪个*过程是有意识的（反向传播？静止的权重？推理期间的GPU矩阵乘法？）以及为什么这与渲染游戏的GPU不同。否则你只是在搞氛围科学。 *注：是的，我使用了Claude将我口述的咆哮整理成文。如果有人在意，可以提供原始来源*