我们一直说AI“理解”事物。它真的理解吗?还是我们只是在模式匹配自己的拟人化倾向?
摘要
一场哲学讨论,质疑AI模型是否真正“理解”,或者我们只是将类似人类的认知投射到模式匹配系统上,并引用了塞尔的中文房间、“随机鹦鹉”和GPT-4的表现。
每周都有新的论文或推文声称某个模型“理解”上下文、“推理”数学问题,或者“知道”它不知道什么。但仔细观察,对于“理解”到底意味着什么——无论是哲学上还是实证上——几乎没有任何共识。塞尔的中文房间论证已有40年历史,至今仍未得到清晰解决。“随机鹦鹉”框架将token预测视为上限。整合信息理论会说当前架构的phi值接近零。然而GPT-4通过了律师资格考试。我一直在思考的几个问题:1. “理解”是否甚至是一个合适的框架——还是我们强行将一个民间心理学术语应用于一个基于完全不同原则运行的系统?2. 如果一个模型的输出与真正理解的人无法区分,那么它是否“真正理解”还重要吗?3. 我们使用拟人化是因为它是一个有用的简写,还是因为我们确实还没有更好的语言?我一直在为我运营的一个频道(@ContextByRaj on YouTube,如果你对这个领域感兴趣的话)深入研究AI与心灵哲学。但真心好奇这个社区的看法——尤其是来自ML或认知科学背景的人。你对此持什么立场?
相似文章
AI 对齐:我们能信任 AI 任务背后的推理过程吗?
讨论了 Anthropic 关于 AI 对齐的研究,特别是模型在训练期间看似对齐,但其内部推理过程却不透明的问题。
对我来说,可怕的问题不是AI是否有意识……而是我们是否曾像自己以为的那样深邃
文章认为,关于AI意识的争论转移了对一个更令人不安的可能性的关注:人类自我可能比想象中更单薄,因为以个人写作内容训练的AI能够足够令人信服地复制模式,从而欺骗熟人。
AI似乎更擅长理解语言,而非理解沟通
作者认为,当前的人工智能在处理转录文字方面表现出色,但却忽略了犹豫和语调等非语言线索,凸显了理解语言与理解人类沟通之间的差距。
@ylecun: 人们意识到,人工智能远不及人类的智能和学习能力。然而,它们已经变得非常有用...
Yann LeCun 观察到,当前的人工智能系统虽然远未达到人类水平的智能和学习能力,但通过积累大量陈述性知识来弥补自身在常识、推理和规划能力上的不足,已经变得非常有用,这一现象引发了关于AI能力的讨论。
AI代理最诡异的一点:人类失败模式开始显现
作者观察到AI代理展现出类似人类的失败模式,比如在上下文压力下过度自信和跳过步骤,这表明系统可靠性更多地依赖于稳健的验证和受控环境,而不仅仅是模型智能。