LLMs与自指性

# 大语言模型与自指性 来源：https://scottaaronson.blog/?p=10046 昨日醒来时，我脑海中浮现出以下想法——它们或许显而易见，或许不值一提。 许多年前，包括我在内的许多读者从道格拉斯·霍夫施塔特的《哥德尔、艾舍尔、巴赫》（https://en.wikipedia.org/wiki/G%C3%B6del,_Escher,_Bach）中提炼出的一个核心论点是：智能的奥秘（因此也是人工智能的奥秘）必然与自指性和“怪圈”密切相关。 甚至在某些方面与《哥德尔、艾舍尔、巴赫》立场相悖的罗杰·彭罗斯所著《皇帝新脑》（https://en.wikipedia.org/wiki/The_Emperor%27s_New_Mind），也讽刺地认同了自指性对于整个人工智能项目成败的根本重要性。该书（在我以及多数专家看来是错误地）声称人工智能永远无法实现，因为哥德尔定理和自指性中蕴含着某种计算机程序无法捕捉、而人类大脑凭借特殊物理属性才能领悟的东西。 而如今，到2026年，我们已成功构建了在大多数定义明确、可评判的智力任务上超越大多数人类的人工智能。这些人工智能的技术堆栈中——无论是Transformer神经网络、运行它们的GPU集群、训练过程，还是其他任何环节——都无需特意植入任何自指性要素。（例如告诉模型自身角色与身份的系统指令除外，这些指令并非智能行为所必需。另外，我不会将大语言模型的自回归特性视为“自指性”；那只是动态反馈机制。） 诚然，GPT 5.6 Pro和Fable可以谈论自身、哥德尔定理、自指性以及我们当前讨论的所有话题，而且比大多数人类说得更好。但从未有人需要刻意构建自指能力。这种能力只是预训练过程的副产品——正是同样的预训练让模型能够谈论宝可梦、长链聚合物、认知行为疗法、板块构造论以及其他一切事物。 难怪霍夫施塔特说他因大语言模型的成功而震惊，也难怪他在（如下这篇：https://www.theatlantic.com/ideas/archive/2023/07/the-terrible-downside-of-ai-language-translation/674687/）等文章中对当前人工智能的能力表现出沮丧。以他的智慧，绝不会否认已发生的事实或编造理由否定其价值（这是许多人采取的做法）。但他意识到，我们通过一条《哥德尔、艾舍尔、巴赫》世界观认为过于廉价简单的路径，获得了真正的对话智能——这条路径显然没有任何地方内置“怪圈”。 当然，霍夫施塔特学派的支持者可以争辩说大语言模型中会*涌现*出怪圈——的确，《哥德尔、艾舍尔、巴赫》从未说过怪圈必须从一开始就明确设计进去。但任何未受《哥德尔、艾舍尔、巴赫》影响的人，会认为这是理解大语言模型的有效方式吗？ 事后我们能得出什么结论？尽管对角线法和自指性的思想确实在现代数理逻辑与计算机科学的诞生中扮演了核心角色，但其最著名的应用都是*否定性*的：自然数与实数之间不存在双射；算术不存在既完备又可靠的形式系统；不存在能解决停机问题的算法。 如果你的目标只是构建ZFC公理与一阶推理规则，或者制造电子计算机，你无需为此明确引入自指性。你只需……开始构建，并确保指令集不偏离通用性要求。 是的，ZFC能够形式化并证明关于自身的定理。是的，电子计算机可以运行以自身代码作为输入的程序。但从未有人需要刻意构建这些能力——正如无需为字母表或语法规则内置自指性。它们作为通用性的免费副产品自然涌现。 同理，大语言模型谈论自身的能力，只是其能够谈论训练语料库话语宇宙中任何事物的副产品。最终被证实的大智能观是那些关于智能关乎预测、预测关乎压缩、压缩关乎寻找更优柯尔莫哥洛夫复杂度上界的观点，而非自指性理论。（当然，如果你想知道为何柯尔莫哥洛夫复杂度*无法*被完美计算，这一否定性陈述又需要自指论证。） 还剩下什么？意识和主观体验当然依旧极其神秘。就我们所知，霍夫施塔特可能是对的——这些与自指性有关。（同样就我们所知，彭罗斯也可能是对的——这些与生物大脑可及但数字计算机无法触及的特殊物理属性有关！） 但那种认为必须先有明确的自指性才能获得令人信服且改变世界的对话智能的观点？让它与人类历史上最重要的错误观念一同安息在威斯敏斯特教堂或阿灵顿国家公墓吧——比如地心说、亚里士多德的目的论物理学、以太、燃素说、弗洛伊德的心理学、马克思预言的工人起义与无阶级乌托邦等等。它确实需要被埋葬。 --- 本文发布于2026年9月1日星期二12:17，归类于“自我尴尬”（https://scottaaronson.blog/?cat=18）、“形而上学臆说”（https://scottaaronson.blog/?cat=12）、“拖延症”（https://scottaaronson.blog/?cat=3）。您可通过RSS 2.0（https://scottaaronson.blog/?feed=rss2&p=10046）订阅本文的回应。您可以在本文留下回应（https://scottaaronson.blog/?p=10046#respond），或从您的网站发送引用通告（https://scottaaronson.blog/wp-trackback.php?p=10046）。 您可以在评论中使用富文本HTML！也可以使用基础TeX语法，以$$ $$包裹显示公式，或以\\( \\\)包裹行内公式。 经过二十年基本开放的评论政策后，《Shtetl-Optimized》于2024年7月转为如下政策： 所有评论默认视为发送给我的私人信件——斯科特·阿伦森既不承诺将其发布在博客上，也不承诺予以回复。 我会在闲暇时酌情参考《Shtetl-Optimized》守护者委员会（https://scottaaronson.blog/?p=6576）的意见，在博客上精选发布我认为特别有趣或能推进讨论的评论，并尽力回复这些评论。但这更像是“读者来信”栏目。自觉遭受不公正审查者欢迎前往互联网的其他角落。