通过机器学习达到人类水平的表现 *并未* 被复杂性理论证明为不可能 [D]
摘要
一篇声称通过机器学习实现AGI在复杂性理论下是不可能的论文,已被一篇新论文反驳,该新论文指出其证明因一个未定义的关键术语而存在缺陷。
Van Rooij、Guest、Adolfi、Kolokolova 和 Rich 在2024年于 *Computational Brain & Behavior* 上[声称已证明通过机器学习实现AGI是不可能的](https://link.springer.com/article/10.1007/s42113-024-00217-5)。其基本思路是试图将一个已知的NP难问题简化为从数据中学习人类级别分类器的问题。这一被称为“Ingenia定理”的所谓结果在互联网上引起了一些关注,包括在这里。我证明该证明存在不可修复缺陷的论文现已[同样发表在CBB上](https://link.springer.com/article/10.1007/s42113-026-00284-w)(无付费墙预印本[在此](https://arxiv.org/abs/2411.06498))。基本问题在于“人类级别分类器”在数学上未定义,而作者解决这个问题的方式是……从未定义它。他们在介绍问题时有一个对应于“人类情境-行为元组分布”的构造,但在进行正式证明时,这个构造被替换成了“对于所有多项式时间可采样的分布”。这意味着,如果对人类情境-行为元组进行查找替换为ImageNet输入/标签,这篇论文也证明了学习分类ImageNet是不可行的。关于从Penrose到Chomsky类似尝试的博客讨论[在此](https://mikeguerzhoy.substack.com/p/barriers-to-complexity-theoretic)。
相似文章
有哪些基础研究探讨了能否通过 LLM 实现 AGI?
我尚未见到任何论文或真正的研究证据来支撑这一论点的任何一方。我希望能超越纯粹的主观意见来讨论这个问题。
仅靠 LLM 能否实现 AGI?
本文探讨了顶尖 AI 专家之间的争论:仅靠 LLM 能否实现 AGI,抑或是否需要诸如世界模型之类的额外突破。
人机团队何时能超越个体?具有不可能性保证的紧密界限
本文推导了人机团队的紧密理论界限,证明了基于置信度的聚合何时能产生互补效应,并确立了在特定错误相关性下的不可能性结果。
出于必要性的偏差:收敛式人工智能与人类验证中顺序处理的不可能性定理
本文证明了不可能性定理,表明由于因果掩码(causal masking)约束,首要效应(primacy effects)、锚定效应(anchoring)和顺序依赖性(order-dependence)是自回归语言模型中架构上必然存在的偏差。作者跨越12种前沿大语言模型验证了这些理论界限,并通过涉及工作记忆负荷的预注册人类实验证实了相关预测。
Google DeepMind 高级科学家 Alexander Lerchner 质疑大语言模型能获得意识(即使在100年内),称其为“抽象谬误”。
Google DeepMind 高级科学家 Alexander Lerchner 认为大语言模型无法获得意识,将这一假设称为“抽象谬误”,并指出即使在长达一个世纪的时间框架内,这种局限性依然存在。