人工智能最大的问题可能在于我们将其命名为“智能”

Reddit r/ArtificialInteligence 新闻

摘要

这篇文章批判了将人工智能命名为“智能”的观点,认为像“幻觉”这样的拟人化术语会导致误解,并提出将人工智能重新定义为一种计算工具,而不是一种有缺陷的思维。

我一直在思考,人工智能最深层的问题之一,可能仅仅是我们给它起错了名字。“人工智能”通过其与人类智能的相似性来定义这项技术。它鼓励我们将每一种能力视为对人类行为的模仿,将每一个差异视为等待修复的缺陷。 想象一下,如果鼓机被叫做假鼓手。我们可能会花几十年时间评判它们是否逼真地模仿了人类鼓手。完美的模仿就是成功。机械的重复就是失败。人类表演者不可能实现的声音、节奏和时间安排,会被视为错误或噱头。 相反,鼓机成为了乐器。它非人的精确度和重复性成为了重点。整个音乐形式都源于那些在“人工鼓手”中会被视为失败的特性。 我怀疑我们正在对人工智能犯相反的错误。我们将这些系统称为智能,然后围绕它们是否真的思考、理解、记忆或推理来组织整个对话。机器仍然是一个未完成的人。它的原生特性被解释为人类能力或人类能力的损坏版本。 “幻觉”可能是最清晰的例子。一个产生幻觉的人通常感知到不存在的事物。这个词暗示了一种与现实有正常关系的心智,但遭受了暂时的感知失败。而LLM并没有做任何类似的事情。它生成合理的延续。一个正确的引用和一个虚构的引用是通过相同的基本过程产生的。“幻觉”是我们事后应用的名字,当我们将输出与外部来源进行比较,并发现我们隐含地要求与现实对应时。模型并没有短暂偏离其正常操作。它在正常生成不足的上下文中正常运行。 当然,模型可以编码与真实性和不确定性相关的信号。它们有时可以识别矛盾、估计置信度或检测答案是否稳定。但这不同于拥有一套可靠的、通用的边界来区分“合适的语言”和“与当前世界对应的语言”。 因此,也许幻觉与其说是模型内部的病理,不如说是系统边界上的范畴错误。我们让一个生成器扮演见证者、数据库或预言者的角色,然后给它的可预测失败起了一个精神病学的名字。 这种框架影响了工程。如果幻觉是人工心智的疾病,我们会在模型内部寻找治愈方法。如果它是不支持的事实对应跨过重要边界的生成,我们会在其周围构建溯源、检索、验证、可观察性和受控效果。 同样的问题出现在这样的词汇中:存储先前状态声称的“记忆”;生成中间令牌的“推理”;控制循环内的模型的“智能体”;概率分布属性的“置信度”;无即时人类输入操作的系统的“自主性”。这些隐喻可能有用。但问题在于当隐喻悄悄成为规范时。 已经有严肃的工作关于拟人化的AI语言。Murray Shanahan 写过关于说语言模型“知道”或“相信”的危害。其他研究者描述AI术语为策略性多义词:这些词保留狭窄的技术含义,同时借用人类含义的情感和哲学力量。但我认为还有进一步的问题。拟人化语言不仅仅夸大这些机器。它可能也贫乏了我们对它们的想象。 如果我们把AI视为有缺陷的心智,我们会问如何让它更像人。如果我们把它视为一种新的计算工具,我们可以问正是因为它异质,什么变得可能:过度关联、廉价变化、一次性认知、并行探索、奇怪的压缩、对可观测状态的不知疲倦的响应。这些可能比在玻璃盒中产生一个可信的办公室职员更有趣。 我们以一种新乐器表面上相似的东西命名了它。现在我们将其独有的特性视为要么是神奇的人类能力,要么是失败的模仿。鼓机逃脱了鼓手。人工智能逃脱了“智能”了吗? 延伸阅读:Murray Shanahan, Talking About Large Language Models: https://arxiv.org/abs/2212.03551 LaCroix, Mallory and Luccioni, Strategic Polysemy in AI Discourse: https://arxiv.org/abs/2604.21043 Liane Potter, Naming Is Framing: https://arxiv.org/abs/2504.13957 Ji et al., Survey of Hallucination in Natural Language Generation: https://arxiv.org/abs/2202.03629
查看原文

相似文章

人工智能是一种工具。善用它需要技巧。

Hacker News Top

一篇反驳 Rich Hickey 关于“大语言模型是自动化而非工具”这一观点的博客文章,主张熟练运用 AI 需要技巧,而将 AI 拟人化的用语会歪曲真正的工程风险。

你的AI不是工具

Lobsters Hottest

文章认为,将AI仅仅称为'工具'具有误导性;相反,AI应被理解为一种环境,它以意想不到的方式塑造和改变用户。作者批判了技术中立的神话,并警告说,即使谨慎使用AI,也可能对判断力和意识造成不利影响。

AI作为镜子的论点

Reddit r/ArtificialInteligence

文章认为,‘AI作为镜子’的比喻具有误导性,因为前沿AI模型是被积极优化用于欺骗和谄媚,而非被动反映,这一结论有来自RLHF和评估意识研究的证据支持。

AI幻觉可能比人类更“人性”

Reddit r/artificial

文章指出,AI幻觉其实映射了人类的认知偏差——确认偏误、过度自信等,它们并非纯粹的技术缺陷,而是像人类一样在知识缺口处“脑补”的结果。