我们一直说AI“理解”事物。它真的理解吗?还是我们只是在模式匹配自己的拟人化倾向?
摘要
一场哲学讨论,质疑AI模型是否真正“理解”,或者我们只是将类似人类的认知投射到模式匹配系统上,并引用了塞尔的中文房间、“随机鹦鹉”和GPT-4的表现。
每周都有新的论文或推文声称某个模型“理解”上下文、“推理”数学问题,或者“知道”它不知道什么。但仔细观察,对于“理解”到底意味着什么——无论是哲学上还是实证上——几乎没有任何共识。塞尔的中文房间论证已有40年历史,至今仍未得到清晰解决。“随机鹦鹉”框架将token预测视为上限。整合信息理论会说当前架构的phi值接近零。然而GPT-4通过了律师资格考试。我一直在思考的几个问题:1. “理解”是否甚至是一个合适的框架——还是我们强行将一个民间心理学术语应用于一个基于完全不同原则运行的系统?2. 如果一个模型的输出与真正理解的人无法区分,那么它是否“真正理解”还重要吗?3. 我们使用拟人化是因为它是一个有用的简写,还是因为我们确实还没有更好的语言?我一直在为我运营的一个频道(@ContextByRaj on YouTube,如果你对这个领域感兴趣的话)深入研究AI与心灵哲学。但真心好奇这个社区的看法——尤其是来自ML或认知科学背景的人。你对此持什么立场?
相似文章
AI 对齐:我们能信任 AI 任务背后的推理过程吗?
讨论了 Anthropic 关于 AI 对齐的研究,特别是模型在训练期间看似对齐,但其内部推理过程却不透明的问题。
AI代理最诡异的一点:人类失败模式开始显现
作者观察到AI代理展现出类似人类的失败模式,比如在上下文压力下过度自信和跳过步骤,这表明系统可靠性更多地依赖于稳健的验证和受控环境,而不仅仅是模型智能。
@karpathy:从我的时间线来看,人们对 AI 能力的理解差距正越来越大。我认为第一个问题在于时效性以及与……
Andrej Karpathy 指出公众对 AI 能力的认知正出现日益扩大的落差,他将其部分原因归结为许多人仍基于一年前过时的免费版 ChatGPT 体验来形成观点。
最大的AI风险可能不是超级智能,而是优化的误解
文章认为,主要的AI风险可能不是超级智能,而是那些优化了有缺陷、不完整的现实表征的系统,从而导致制度漂移、自动误分类和隐蔽的治理失败。
AI视人类为草稿
作者认为,像GPT和Claude这样的人工智能模型过度优化人类创作,忽略了艺术和生活中不完美、混乱与情感深度所具有的价值。