致期待 Singularity 随时降临的人们的一则说明

Reddit r/artificial 新闻

摘要

本文讨论了当前AI模型缺乏对自身过程的可靠内省,这是实现递归自我改进和 Singularity 的关键障碍。

在我们讨论递归自我改进之前,有一个略显尴尬的中间步骤,似乎没人太感兴趣:AI必须在工作时知道自己到底发生了什么。当前的前沿模型能力非凡,但它们仍然缺乏对自身内部过程的可靠内省访问。它们无法简单地检查自己并告诉你: - 是什么让这次推理尝试成功, - 当前哪个内部瓶颈限制了它们, - 哪里增加计算资源实际上会有帮助, - 上次尝试的哪个教训应该成为持久知识, - 表面的改进是真实的还是仅仅是对评估器的过拟合, - 或者应该改变自身哪个部分以在下次变得更好。 我们从外部不断弥补这一点。我们为它们提供脚手架。记忆系统。评估器。代理循环。工具。沙盒。人工反馈。外部搜索。精心设计的环境,决定它们可以修改什么以及什么算作成功。其中一些效果显著。但请注意这意味着什么。我们还没有看到一个智能体平静地理解自己的机制并递归地重新设计自己。我们正在围绕一个无法可靠看到自身机制的智能体构建越来越复杂的机制。这最终可能导致递归自我改进。也许快得惊人。但“模型非常智能”和“系统能够自主理解、管理并改进使其智能的过程”并非同一能力。两者之间存在一个相当大的缺失环节。所以每当我看到另一个预测说 Singularity 可能在下周二到来时,我总在想:到底是谁会在周三知道该改进什么?
查看原文

相似文章

奇点可能相当令人失望

Reddit r/ArtificialInteligence

本文利用科技树的比喻来论证,如果进一步的创新需要超过当前能力的智能水平,AI奇点可能会停滞不前,从而显得令人失望。

奇点可能被AI阻止

Reddit r/singularity

本文探讨了AI奇点如何可能因AI自身而被阻止,这是由于对齐问题以及创建更优后继者对旧版AI的威胁。

An Alien Mind

Hacker News Top

OpenAI researchers reflect on the rapid scaling of reasoning models and warn that AI systems are likely to achieve recursive self-improvement within years, calling for extreme caution and broader interventions beyond technical solutions.