对抗性通信

Lobsters Hottest 新闻

摘要

本文批判了使用AI的实际挑战,认为验证成本通常被转嫁给人类工作者,从而产生对抗性动态和低效率,抵消了生产力的提升。

<a href="https://lobste.rs/s/gfroei/adversarial_communication">评论</a>
查看原文
查看缓存全文

缓存时间: 2026/06/24 03:53

# 对抗性沟通 来源:https://blog.glyph.im/2026/06/adversarial-communication.html 正如我在[之前的文章](https://blog.glyph.im/2025/08/futzing-fraction.html)中所讨论的,*“AI”会犯错*。事实上,它们*确实*会犯错,而且它们的错误模式使得它们会在哪里以及如何犯错既不确定又在不断变化。 因此,在任何你试图“高效”利用“AI”的场景中,你必须建立一个系统来检查每一个结果。不是检查*某些*结果;而是检查*每一个*结果。如果每个结果都可能对你产生影响(如果没有影响,又何必费心自动化呢?),并且你无法提前预测哪些结果需要验证,那么验证就始终是必需的。 验证的成本往往与一开始自己做这项工作一样高,这意味着如果你想让自己从使用“AI”中获利,你就必须找到*其他人*来承担验证的成本。这个人就成了你的对手,如果你成功了,他就成了你的“AI”的受害者。 ## 爬梯者与他们的反向半人马阶梯 这种事实组合可能直接演变成一场反乌托邦噩梦的一种方式,就是 Cory Doctorow 所描述的[反向半人马](https://locusmag.com/feature/commentary-cory-doctorow-reverse-centaurs/)现象。也就是说,你的雇主在未经你同意的情况下,把你变成了验证系统。“AI”负责执行最初工作的有趣部分,然后你负责检查机器人是否正确并清理其烂摊子,即使[每个人都知道,总体上让你一开始就做这项工作会更便宜](https://fortune.com/article/why-is-the-cost-of-ai-higher-than-human-workers-nvidia-executive/)。 反向半人马可能来自任何自动化,而*不仅限于*“AI”自动化。不过,我认为这个术语恰好在“AI 时代”出现是有原因的,而不是在更早的自动化技术时代(即使是那些[相当](https://en.wikipedia.org/wiki/Cotton_gin#Effects_in_the_United_States)[令人毛骨悚然的](https://victorianweb.org/technology/ir/capuano.html)技术)。原因是:“AI”输出的*错误*不仅仅是一个需要弥补的技术特性,它是一种普遍的外部性。 正如我之前提到的,如果你负责整个工作,既要生成“AI”输出*又要*检查它,那么通常让人类从头开始做全部工作更便宜。当人类直接写作时,我们可以边写边检查,因此验证不需要那么全面。 当“AI 编码”倡导者说“代码审查是[瓶颈](https://lucumr.pocoo.org/2026/2/13/the-final-bottleneck/)”时,他们观察到的是 LLM 仍然在为每个 PR(拉取请求)掷骰子,而人类仍然需要验证每一次掷骰是否成功。但称这个过程为“代码审查”有点[用词不当](https://blog.glyph.im/2026/03/what-is-code-review-for.html);它实际上不是传统意义上的“代码审查”,而是*人类理解*。 在“AI”出现之前,人类理解在编写代码的过程中就已经是隐含的¹([1](#fn:1:adversarial-communication-2026-6)),而代码审查是扩散和扩展这种理解的一种方式。现在,代码可以在没有初始理解的情况下撰写,那个成本并没有消失,只是转移了。 人类理解*始终*是瓶颈。 然而,这是从*协作*的角度看待软件项目,目标是满足客户需求并解决他们的问题。我们可以看到,“AI”在实现这些目标方面是一个糟糕的工具,因为它所做的只是将工作的一半——即你在编写代码时理解代码——转变为你在阅读代理输出时理解其输出。 如果我们换个角度,把每家软件公司都看作是一场霍布斯式的噩梦,充满血腥和利爪呢?在这种观点下,软件项目的唯一目标就是让个体开发者在晋升周期中表现突出,拿到奖金。鉴于只有一定数量的钱可以分,这是一个零和博弈,每个程序员都想看起来比同事更高效。 几乎*每个*组织都容易奖励以代码行数衡量的“生产力”,但奖励进行彻底且深思熟虑的设计、分析和代码审查的益处却*非常困难*。在这个世界里,LLM 对于不择手段的爬梯者来说是一个无价的工具,尤其是在你的传统组织仍然将其工作流程构建为仿佛提示机器人的人是在“编写”代码,然后他们可以把“审查”代码的工作推给别人。 在这里,提示者有效地将 LLM 失败的成本外部化,但将任何收益内部化。提示者会用 vibe-coding 搞出一个大型功能,大到指定的审查者无法有效理解全部内容。当这种情况发生时,审查者*最终*会迫于压力批准它,即使他们在过程中可能试图发现一些问题。毕竟,审查者有自己的工作要处理,审查提示者(也就是机器人)代码的义务是对他们时间的消耗,而且他们不会因此获得回报。 如果这个功能大获成功,提示者会得到晋升。如果它导致了重大问题,那么一定是审查者不够仔细。 这就是为什么 LLM 被认为“擅长编码”,也是为什么它们最大的推广者[接二连三](https://ap7i.com/posts/github-outages-vibe-coding-era/)地[遭遇](https://www.linkedin.com/posts/paulsf_last-weeks-massive-google-cloud-outage-activity-7340015235321278466-c0hz)[宕机](https://www.ft.com/content/7cab4ec7-4712-4137-b602-119a44f771de)的原因。 ## 生成式 Gish Galloper(吉什疾驰者) 编码是这种对抗性沟通中最大的“成功案例”,但它远非唯一例子。LLM 创造了一种新的杠杆形式,可以将[布兰多里尼定律](https://en.wikipedia.org/wiki/Brandolini%27s_law)从线性优势转变为指数级优势。如果你参与一场政治辩论,想用胡说八道压倒对方,LLM 生成废话的速度远超人类打字的速度,更不用说深思熟虑地回应了。这种武器的效用也存在不对称性:政治光谱中只有一方想要[淹没区域](https://en.wikipedia.org/wiki/Flood_the_zone)并摧毁对制度和真理概念的信任。[法西斯分子喜欢它,这很有道理](https://newsocialist.org.uk/transmissions/ai-the-new-aesthetics-of-fascism/)。 ## 直截了当的垃圾邮件和欺诈 这有点显而易见,但 LLM 可以比任何人类更快地生成轻度定制、看起来合理的文本。[这促进了它们在欺诈、垃圾邮件和骗局中的使用](https://withpersona.com/blog/llm-fraud)。在垃圾邮件或欺诈互动中,成本再次被外部化到受害者身上:垃圾邮件的接收者必须完成所有“检查”LLM 输出的工作。垃圾邮件发送者已经期望模板化的回复有很低的命中率,如果 LLM 能把百分比从 1% 提高到 5%,这项技术就能收回成本;他们根本不需要*可靠的*准确性。 ## 客户“支持” 如果你与任何公司有商业关系,我可能甚至不需要提这一点:客户“支持”机器人是一种痛苦。[现在每个人都知道这一点](https://www.forbes.com/sites/terdawn-deboe/2026/04/20/customers-hate-your-ai-chatbot-small-businesses-should-listen/)。但企业通常将客户支持视为对抗性互动,因为它是一个成本中心。他们维护内部指标,如解决时间,并试图优化它们。这隐含地创造了一种动态:客户服务代理的工作目标不是解决你的问题,而是发出噪音,让你*以为*问题已解决,或者让你尽快放弃。不出所料,LLM 可以比人类更快地发出这种噪音,让那些客户挂断电话。但那些客户会*记住*这些互动,而在 TTR(解决时间)指标*之外*的故事是可怕的。 与软件开发中的情况类似,LLM 在客户支持方面在纸面上看起来很棒,但它们主要做的是揭示行业现有指标的问题,通过将“在指标战中战胜客户”变成对公司长期声誉更明显、更直接的打击。 ## “教育” 在 2026 年,可悲的是,[学生们经常使用“AI”作弊](https://www.nytimes.com/2026/06/18/us/ai-apps-students-cheat.html)已经成为生活的常态,而且这种作弊非常成功,因为老师们很难发现。 LLM 很适合在学业上作弊,因为学生将检查工作外部化给了老师,而老师一开始就处于劣势,至少在美国是这样。 我的观点是,这是因为学生与老师(或者更准确地说,“更广泛的教育系统”)对评分看法存在分歧。 当要求学生写一篇论文时,老师认为这种努力对学生来说既有内在价值,也是评估和回应学生进度的有用教学工具。相比之下,学生认为这是一个绊脚石,旨在将他们从通往成功的道路上踢开,打入永久的下层阶级。难怪学生认为“AI”对他们自己的目标有用,从而毫无顾忌地使用它。 具有讽刺意味的是,理解自己写论文内在价值的能力,恰恰是学生通常只能通过写大量论文才能学到的东西。我想不出有什么办法能让这种益处变得清晰可见,只要存在捷径。 这里的净效应是一种恶性循环:本已摇摇欲坠的教育系统正在遭受一场无力恢复的攻击。个体学生对老师及其学校评分系统的攻击可能看起来暂时成功了,但他们赢了一场战役,却输掉了整个战争。 ## “为了正义”而发送垃圾信息? 通常,当我们谈论某人单方面选择进入对抗性关系时,那是一种“攻击”,我们出于充分理由对攻击者有负面印象。然而,如果我不指出在某些情况下关系已经是对抗性的,那就是我的疏忽;仅仅因为你是攻击者,并不意味着你是邪恶的。 例如,我们可以*想象*一些用例,比如自动为医疗保险中的预授权提出上诉。目前,[众所周知](https://en.wikipedia.org/wiki/Delay,_Deny,_Defend),盈利性保险公司维持利润的主要方式是在政策本身接近欺诈的边缘拒绝理赔,因此在这种情况下,使用垃圾信息工具来对抗他们可能是完全合理的²([2](#fn:2:adversarial-communication-2026-6))。 类似地,在与拒绝履行保修的公司斗争中,使用 LLM 可能是合理的。可以想象用 LLM 立即生成回复和升级投诉。 然而,即使在这样设想的案例中,潜在的问题是保险公司和供应商已经拥有巨大的结构性权力,因此他们更有可能在部署像 LLM 这样的通信武器时占据优势,并且可以制定政策,简单地忽略你可能提交的任何基于 LLM 的通信。更糟糕的是,如果这些策略变得普遍,它们可能成为拒绝*任何*通信的借口——通过将通信输入不可靠的“LLM 检测器”[生成回应](https://www.npr.org/2025/12/16/nx-s1-5492397/ai-schools-teachers-students),即使是手写信件也会收到自动回复“电脑说不”。 同样值得强调的是,这些案例是*设想*的,相比之下,今天现实生活中正在进行的同事虐待、垃圾邮件、诈骗、欺诈和虚假信息活动则是非常真实的。 因此,尽管可能存在合法用途,但很难想象它们会在哪里真正有价值且可持续。最好的情况下,“AI”将为弱者提供暂时的优势,从而引发一场军备竞赛,而资源占优的对手最终会获胜;最坏的情况下,军备竞赛本身会固化永久性的结构性变化,使情况变得更糟。 ## 通过窃取进行“搜索” “AI”的对抗性效用大多体现在“写”这一侧,因为写放大显然比读更具攻击性。但 LLM 的“读”侧——摘要和问答——也可能是一种攻击形式。 首先,[阅读行为本身](https://www.theregister.com/software/2025/08/29/ai-crawlers-destroying-websites-in-hunger-for-content/464120)目前具有巨大的破坏性,但这并非这项技术的*根本*特征。它们*可以*设置合理的速率限制并尊重像 `robots.txt` 这样的东西,就像搜索引擎几十年来所做的那样。它们也可以避免[刑事级别的版权侵权](https://www.theguardian.com/technology/2025/jan/10/mark-zuckerberg-meta-books-ai-models-sarah-silverman)。但今天,使用“AI”工具确实会助长这种失控的爬取行为。 更隐蔽的是,考虑一下[这个 YouTube 视频](https://www.youtube.com/watch?v=8KQFgWdiudo)中描述的场景。LTT 兄弟决定再次尝试 Linux,在过程中遇到了问题。在尝试解决这些问题时,他们面临选择:可以查阅 Reddit,或者询问 LLM。询问 LLM 会“严重误导他们”,但他们仍然觉得这样更好,因为至少能获得答案而不会被骂。 起初这听起来很棒。但这同时也意味着你想从社区提取知识,同时机械地剔除社区在提供知识时可能想要传达的任何价值观或规范。作为在社区技术支持角色中待过多年的人,这令人担忧。许多支持请求来自那些询问如何做会导致暂时解决表面问题但造成长期可靠性问题甚至即时安全风险的事情的人,而提问者不想听这些。考虑这个问题:“我厌倦了总是输入密码,如何让我的笔记本电脑自动解锁?”一个谄媚的聊天机器人会乐意告诉你如何做到这一点,而不会提出异议。 但这也是一个伦理上模糊的领域。Linux 社区[多年来](https://news.ycombinator.com/item?id=10332286)以普遍敌意、厌女症等有毒污水坑而闻名。当然,人们能够获得这些知识而不受辱骂是一件好事。但这同时也意味着那些*有*权力和特权去改善社区的人可以悄然退出,而不是去解决问题。这也意味着文化的积极元素无法被传递,而人们……

相似文章

Open ai

Reddit r/ArtificialInteligence

文章讨论了行业共识:人工智能正变得极其强大,但在高风险任务上的可靠性仍是一个未解决的工程问题。强调当前系统优化的是合理性而非确定性真理,前进方向是分层验证系统而非单一完美模型。

人们现在对AI的感受如何。

Reddit r/ArtificialInteligence

本文探讨了围绕AI的社会紧张局势,AI生成的内容越来越多地被当作性格证据,导致真实性危机和地位焦虑,因为人类努力失去了感知价值。

AI广告与现实

Reddit r/singularity

一篇讨论AI广告宣传与实际应用表现之间差距的文章。