Claude的错觉

Hacker News Top 新闻

摘要

Cory Doctorow 借由日落隐喻探讨AI幻觉,质疑AI输出背后的意图性与意义。

暂无内容
查看原文
查看缓存全文

缓存时间: 2026/09/21 15:51

# 科里·多克托罗的每日链接 来源:https://pluralistic.net/2026/09/21/sunsetting/ [](https://pluralistic.net/2026/09/21/sunsetting/) ## 今日链接 - [克劳德幻觉](https://pluralistic.net/2026/09/21/sunsetting/#oh-mr-sun-sun-mr-golden-sun-please-shine-down-on-me):如果产生幻觉的是我们自己呢? - [快来看看这个](https://pluralistic.net/2026/09/21/sunsetting/#linkdump):值得品味的趣味内容。 - [物体恒存性](https://pluralistic.net/2026/09/21/sunsetting/#retro):9/11事件 vs 性话题;9/11事件 vs 国旗;美国海关 vs 外交 Vegemite酱;中情局酷刑幸存者发声;惠普的墨水定时炸弹;"乌鸦"弹窗广告;外汇市场 vs 津巴布韦网络;雪莉·科尔克 vs "专家化维基";麦克斯威尼公司 vs RIAA;意大利断网法;异形面具;《歌利亚》;网络政治网 vs 德国监控;泰德·克鲁兹 vs 互联网创始人;鼻喷肾上腺素;Framework笔记本电脑;《真正的星》;飞行员呼吁乘客制服恐怖嫌犯;2000美元旋转电话;法国数字版权活动家呼吁逮捕;美国育儿成本上涨40%;Calyx打败电信运营商;富国银行举报人报复事件;大卫·格雷伯《互助》;审查依旧存在(即使未违反第一修正案)。 - [即将出席活动](https://pluralistic.net/2026/09/21/sunsetting/#upcoming):伯克利、埃德蒙顿、波士顿、南本德、哈德逊、卡尔加里、温尼伯、巴黎、温哥华、维多利亚、渥太华、基尔肯尼、蒙特利尔。 - [近期活动回顾](https://pluralistic.net/2026/09/21/sunsetting/#recent):我的行程足迹。 - [最新著作](https://pluralistic.net/2026/09/21/sunsetting/#latest):你们持续阅读,我持续创作。 - [即将出版著作](https://pluralistic.net/2026/09/21/sunsetting/#upcoming-books):如前所述,我会继续写作。 - [版权页](https://pluralistic.net/2026/09/21/sunsetting/#bragsheet):其余所有内容。 --- 两幅男性头部剖面解剖图,大脑中填充着老式通俗杂志中的行进机器人插画。它们用裸露的解剖学眼球相互凝视,眼球辐射出尖刺状光晕。背景是迷幻风格的分形彩色云景。 ## 克劳德幻觉([永久链接](https://pluralistic.net/2026/09/21/sunsetting/#oh-mr-sun-sun-mr-golden-sun-please-shine-down-on-me)) 成为无神论者后一个不太被提及的改变,是你看待日落的方式会转变。若你相信全能且无处不在的上帝,那么日落就是上帝的刻意创作——这意味着暮色中折射的绚烂色彩是被*有意选择*以产生这种效果的。 怀着宗教信仰凝视日落,是在遇见另一个心智的**意图行为**。而抛却信仰凝视同样的日落,你会看到某种震撼、美丽却**空洞**的东西;并非缺乏奇迹或美感,而是缺乏**目的性**。没有人将那轮太阳悬于天空,没有人选择它沉落时的色彩。它依然美丽,但这是一种本质不同的美。 在宗教式日落与无神论式日落之间,存在着**艺术家笔下的日落**。这代表了另一个人、另一个心智的选择——至少,那个心智在与**自己对话**,试图将**内心**之物呈现到**外界**。 通常,捕捉日落画面的心智渴望对**他人**(甚至可能是**你**)诉说些什么(想象爱人给你发送手机拍摄的日落照片)。那幅画作或照片或许并非**神圣的**,但无疑是**刻意的**。观看一幅日落画——甚至一张日落照片——都是在审视某人**选择创造**的事物。你不会失手意外创作出日落画作。日落画并非偶然产物。日落画作自有其表达。 揣测意图是我们大脑的本能执念。它让我们免于死于交通事故,让我们在牌局中获胜。它是爱情与育儿、高效管理与"向上管理"的关键。它让我们对他人生气,也让我们原谅他人。它让我们为书中或屏幕上的角色心潮澎湃。这是面对诗歌、歌曲、书籍或雕塑时**自动且不可抗拒的起点**。它是树的雕塑与真树之间最根本的差异:树木独自生长,而雕塑是他人怀着另一个心智**刻意制作**的。 这种归注意图的本能解释了为何人工智能引发如此争议、如此引人入胜,又如此**诡异**。马克·费希尔将诡异定义为"当某物存在于本应空无之处,或当某物缺席于本应存在之处": https://www.programmablemutter.com/p/large-language-models-are-uncanny 审视AI生成的文本或图像,是在观察被**挤出**而非**选择**的事物。你*可能*失手让AI生成一张日落图像,但它不会体现任何人的意图。 我们对此毫无经验。看到一幅画,我们会本能地解读为存在画家;阅读一本书,我们会本能地将作者意图归于其字里行间;进行对话时,我们会本能地形成关于对话另一方心智的理论。 但我们无法对AI如此。任何理解当前被称为"AI"(此时此刻)的无理论统计推断系统运作原理的人,都会明白它们是无法形成意图的系统,缺乏形成意图的**素材**: https://pluralistic.net/2026/09/18/surprise/#wow-signal 即便如此,我们仍难以(或或许不可能)避免将意图归于那些看似存在**意图主体**的事物。想想你对文学虚构角色那种自主的、不可避免的情感反应。为虚构人物感到悲伤或快乐是**奇怪的**。他们不真实,而你**清楚**他们不真实,却仍可能因他们的困境落泪。 这种文学审美体验源于我们归注意图本能的**共识性破解**——我们习惯将人类意图赋予通常是人类意图产物的事物。当我们体验他人的意志——他们的言语或行为——我们试图理解他们是谁、感受如何、为何行事如此: https://genius.com/David-byrne-and-ghost-train-orchestra-she-explains-things-to-me-lyrics 即使面对的仅是他人言行的**证据**(如朋友描述与陌生人的相遇),我们仍会如此。对于你那寻求意图的本能心智,描述虚构人物行为的作者是启动共情机器的不可抗拒信号,促使你设身处地代入故事中的人物: https://locusmag.com/feature/cory-doctorow-stories-are-a-fuggly-hack/ 与AI"对话"是与虚构角色展开对话,他们与小说中的虚构人物一样不真实。事实上,聊天机器人比虚构角色**更不真实**,因为角色是另一个心智的产物,而聊天机器人的言语是基于人类所有言语的大规模数据库,通过词频关系排列后进行的复杂数学运算产物。当这种数学运算创造出美丽或震撼之物时,它就像日落:无论多么惊人,都是空洞的。没有人选择那些色彩,没有人选择那些词语。 换言之,当我们与AI互动时,**我们自行幻觉出**互动另一端的人物。这些幻觉远比任何AI生成的"幻觉"更普遍、更后果深远(后者更应称为"错误"或"缺陷")。 幸运的是,对大多数人而言,这些幻觉的强度会随时间消退。随着强度减弱,幻觉的性质也会改变。正如我们多数人能轻易放下虚构文学人物困境引发的情感(认为它们不如真实人物的困境那么重要和"真实"),对多数人而言,AI生成材料的体验已因重复而褪色。 我初次接触AI生成的文本和图像时感到惊奇,这种惊奇源于我心中两个部分的张力:一部分明知这是数学运算的产物,另一部分却坚持认为绘画必须有画家、段落必须有作者、对话必须有交谈者。回望当时的惊奇,我意识到那主要是由输出效果**相对于我对数学衍生句段与图像潜力的预期**而言的卓越性所驱动的。 那种新奇体验驱使我以宽容标准评价机器输出:"惊奇的不是跳舞的熊跳得好,而是熊竟然会跳舞。"但随着重复刺激,体验强度已回归均值。这些输出缺乏令人信服的质感。AI生成散文与媒体的平滑感使其平庸得令人难以忍受。这是粗劣的拼凑。 如果说AI仍让我感到惊讶,那惊讶在于我们真实世界竟存在如此多的平滑性。AI能通过统计预测回答问题或进行对话,这一事实告诉我们关于现实世界规律性的重要信息。但它并不能证明统计预测等同于理解: https://pluralistic.net/2026/09/18/surprise/#wow-signal 当然,你对某领域了解越深,AI的回答就越不具说服力。成为专家意味着了解领域的**肌理**:厨师能尝出香料的微妙,画家能察觉笔触,舞者能将编舞分解为独立动作。 前几天有人惊叹AI对其散文的编辑反馈质量,说"告诉我遗漏了什么"的提示能生成"会让批改论文的大学教授激动不已"的建议。作为一个指导过许多作家、提供过大量反馈的人,我认为那人严重高估了大学教授看到AI对其论文反馈时的激动程度。 事实是,非专业写作者在写作中大多犯相似错误,而大多数写作指导就是对那些犯着过去、现在和未来同行们都会犯的**初级错误**的作者提供重复、近乎相同的建议。 掌握良好写作的基础需要练习和反馈,而大多数反馈是机械性的。成就优秀写作教师(并帮助培养优秀作家)的是能发现学生作品中**非标准**的方面,将其发展成独特有力的表达。任何人都能帮你处理写作中平滑流畅的部分。只有好教师能帮你发现并打磨使你成为**独特**作家的**质感**。 这种质感在初学者作品中尤其难寻,因为初学者作品大多充满完全普通的经验性错误,而AI挤出文本时能可靠避免这些错误。但AI生成的散文没有那些独特性的微量痕迹,也无法发现它们。这些痕迹存在于小数点后许多位,AI总在运算前将它们四舍五入。 我们越是接触平滑掉我们适应的质感的AI,就越少倾向于幻觉出意图,它们也显得越不诡异。我们大多数人正缓慢但确凿地成为AI无神论者,日落似乎越来越像物理规律无意的产物,而非心智刻意的造物。 AI无神论面临两大障碍。首先,对多数人而言,无法理解陌生活动中哪些部分涉及意图,容易让我们假设:只要在现实中看到任务被执行,就必然是有意的,因此必有意图者。换言之:多数人不参加黑客大会,因此难以理解"没有黑客的黑客行为": https://pluralistic.net/2026/09/12/god-in-the-box/#llms-are-fake 但第二个障碍使一小部分重要人群难以理解聊天机器人不是人:那些视**几乎所有人**都非真实个体的亿万富翁们。这些唯我论者认为聊天机器人等同于(甚至优于)人类,因为他们也不认为大多数人是完整的人: https://pluralistic.net/2026/05/13/vibe-governance/#k-hole 在我们物种几乎全部历史中,看似需要意图的事物总是存在意图者。在许多时空(甚至现在对许多人而言),假设自然界具有某种人格与意图,因而值得道德考量,是自然且有益的。"自然权利"运动通过赋予动物和生态系统人格权取得了巨大进步。 但赋予聊天机器人人格权与赋予自然人格权截然不同。实际上,这与"自然权利"运动根本冲突。想想**企业法人格**的恶果:通过赋予这个人造物人格,我们创造了一个有限责任公司这类人造生命体能破坏自然、导致动物灭绝的世界。如果我们赋予这些消耗气候、吞噬水源的AI模型人格权,它们的"人格权"将**要求**牺牲动物、自然世界和我们自身的福祉: https://pluralistic.net/2026/04/15/artificial-lifeforms/#moral-consideration 聊天机器人的数学奇迹已经足够。它们无需成为人。将它们误认为人(或仅仅**对待**它们如同人),会使我们无法区分它们能做的有益之事与它们极易向世界倾泻的废物、丑陋和**错误**。 我认为使用当前被称为"AI"的技术构建不"产生幻觉"的聊天机器人是不可能的。然而,*我们*完全可能且必须停止对AI**产生幻觉**。 --- ## 快来看看这个([永久链接](https://pluralistic.net/2026/09/21/sunsetting/#linkdump)) - Batman, Stephen, d. 1584. The doome warning all men to the iudgemente, 1581.https://houghtonlib.tumblr.com/post/66202591072/batman-stephen-d-1584-the-doome-warning-all - 关于代理型AI与监管的13条论纲https://backofmind.substack.com/p/13-theses-on-agentic-ai-and-regulation - 工商业指数与全球资本主义地理https://economicsfromthetopdown.com/2026/09/19/the-business-to-industry-index-and-the-geography-of-global-capitalism/ - 医疗AI的验证困境https://www.ft.com/content/34319b00-f874-4119-aa28-8376d81e7190?accessToken=zwAAAaC9XGvXkc80MZsA-HRBGdOqKIN22B5xkA.MEUCIBxTaGUf7-Pnw4ErnCAleMMJiOnRfHUFyvbNrWdOrp8yAiEAnjbPR0Ik1xmb2bhrZSj8Fvoe7S6lV_RUd22lZECUTjs&sharetype=gift&token=1dba26c2-4939-4fd7-9dfb-fac85bb96387&syn-25a6b1a6=1 - 请为您的滑块同意这些条款与条件https://blog.dmxrob.net/please-agree-to-these-terms-conditions-for-your-slider/ --- 书架上摆放着精装历史书籍,烫金书名系列标注"世界著名事件"。 ## 物体恒存性([永久链接](https://pluralistic.net/2026/09/21/sunsetting/#retro)) \#25年前 9/11事件首次将性话题挤下搜索榜首位https://web.archive.org/web/20011019190617/http://www.reuters.com/news_article.jhtml \#25年前 9/11后国旗短缺

相似文章

Claude的无尽诱惑

Lobsters Hottest

本文以Paint.NET的Linux支持为例,批评了程序员使用Claude等AI工具编写代码的诱惑,并讨论了依赖AI减轻工作负担所涉及的伦理和个人影响。

论不成为半机械人

Lobsters Hottest

Nolan Lawson 反思AI语言模型如Claude如何微妙地改变他的写作风格,类比人类作者的影响,并探讨AI沉浸的更广泛影响。

这波AI到底要走向何方?

Reddit r/ArtificialInteligence

作者反思了AI行业释放的混乱信号,指出高额投入并未带来相应的生产力提升,而Anthropic一边限制Claude Code的访问权限、一边大规模融资,让人怀疑AI革命性宣言的真实方向。

Anthropic的新Claude功能在悄悄让你接受AI

TechCrunch AI

Anthropic推出了Reflect,这是Claude的一个仪表盘,用于跟踪和可视化AI使用模式,旨在将AI定位为生产力工具,同时通过免打扰模式和用量提示等功能促进理性使用。