AI垃圾内容正在成为一场溯源危机,而不仅仅是内容质量的问题
摘要
本文认为,AI生成内容(垃圾内容)的大量涌现正引发一场溯源危机,信息的来源和可靠性受到破坏,文中以自动外联误导向和虚假互动等例子加以说明。
暂无内容
查看缓存全文
缓存时间: 2026/05/13 16:17
# 廉价Agent、校友衬衫和Elias Thorne
来源:https://danielmay.co.uk/posts/cheap-agents-alumni-shirts-and-elias-thorne/
2026-05-12
这封邮件于今早凌晨3:20抵达我的收件箱,主题行是"getlikewise.ai的DMARC设置为p=none"。发件人名字是Bruce。签名在下面四行,署名是Benjamin。开篇对那个域名的项目概括得足够准确,显然这个Agent在写作之前已经阅读了公开网站。技术观察是正确的:getlikewise.ai确实处于p=none状态。但推断的问题却是错的,因为监控阶段是刻意安排的,配置存在于Terraform中。只要支付99美元(通过Stripe),Bruce或Benjamin就会把修复方案发给我。
来自"Bruce"但署名"Benjamin"的冷接触邮件,为getlikewise.ai提供价值99美元的DMARC修复方案
在开放互联网上,大概没有哪个收件人比我更不需要这项服务了。DNS由自动化IaC覆盖,DMARC的演进步骤是我自己写的计划表,而p=none只是该计划的第一步。这个Agent做了足够的研究来写出像样的个性化内容。但设置它的人没有写一条规则,规定当个性化内容暴露出目标不适合时应如何处理。行文还不错,但行文上游的工作没做。
---
我收集这类东西已有几个月了。在DMARC邮件的五周前,Ava在凌晨1:43写信问我是否满意目前的清洁服务。她说最近几天就在附近,附注里还提出可以对我目前的清洁方案提供第二意见。再往前五周,Charlie从一个不同的运营方系统里,在凌晨2:00写了信,文风是稍正式一点的英式英语。
清洁服务冷邮件,来自"Ava Brown",收件人是我,提到前伦敦雇主
第二封清洁服务冷邮件,署名"Charlie",收件人是作为前伦敦金融科技咨询公司经理的我
两封邮件都将我视为一家伦敦金融科技咨询公司的经理,而我在2016年就离开了这家公司。我现在住在洛杉矶。Charlie提议给我打伦敦号码的电话。Ava说最近几天就在附近。两个Agent都无法知道,它们挖掘的数据源已经过时了十年。它们都正确地遵循了冷接触的框架,精准地瞄准了错误的目标,然后收工睡觉去了。
清洁行业的集体电子表格显示,Daniel May是伦敦一家金融科技咨询公司的办公室清洁潜在客户。这不是一个差劲Agent的失败。这是两个运营商,使用同一个已经破损的底层数据,谁都没有去做核实的工作。目标是写作的上游,而工作是目标的上游。
---
离开邮件领域,这个模式在不同规模上显现出来。南奥斯汀有一家小型兽医诊所叫Manchaca Road Animal Hospital,几年前我们从那里收养了Zelda(猫)之后,我在Facebook上关注了它。它有大约700名关注者,真实地址,真实电话号码,真实团队照片。
Manchaca Road Animal Hospital Facebook页面头部:团队合影(有员工和狗),诊所名称,关注者数量,标语"我们的目标是让宠物健康、让客户满意"
过去两个月里,我不断被一些我不认识的账号在诊所页面的帖子里通过大量评论@。这些个人资料看起来像真人,有多年不相关的家庭照片和生日祝福,直到某个节点之后,这些账号开始代表别人发帖。它们几乎可以肯定是被攻陷了——被钓鱼、被收集或租用——现在为一个根本没有自己建立账号的运营方驱动内容。从外部看来,这和纯粹的低成本Agent操作毫无区别。
这些评论本身是模板化的,模仿诊所的口吻,用"我们"来承担主要说服工作:"那些还没有预订我们校友T恤的人,请尽快预订,因为供应时间很短。"每条评论后面跟随着一条回复,批量@几十个真实姓名,包括我的名字,以触发通知。同一个模板从不止一个账号运行;一周前,Marie用不同的SKU组合推销了同一件衬衫。
回复Alexa Sufia的模板化评论(冒充诊所),随后是她批量@回复,列出诊所关注者的名字
来自第二个账号Marie的评论,运行相同的模板化冒充,带有T恤-马克杯-连帽衫变体,显示在Manchaca Road衬衫效果图上方
这件Manchaca衬衫是一个包含数千个图样的目录中的一个。这个运营方背后的Facebook页面一直在默默地生成兽医诊所、高中、消防部门以及全国其他小型机构团体的衬衫效果图,每个都在等待那个可能记起这个地方的通知接收者。
滚动查看这个运营方背后的Facebook页面:数百个模板化的T恤效果图,每个为不同的小型机构生成
"校友"这个词也在这个运营方没有对应参照物的情况下发挥作用。动物医院没有校友;曾经带猫去过那里的人不是毕业生。但"校友"是一个亲和力词,脚本需要这样一个词,而按需印刷模式意味着从错误中恢复不需要承担库存损失。如果每千次通知中只有一次能促成一笔销售,卖给一个依稀记得这家诊所、以为老兽医开始筹款的人,那么单位经济就是可行的。它可行只是因为没有人去做核实工作;核实工作的成本比它能避免的错误还要高。这种动态跟清洁邮件一样,只不过规模大了几个数量级。
---
同样的动态也出现在生产端。在外联上游被略过的工作,与在输出上游被略过的工作是一样的:在这两种情况下,工具只能根据输入产生它能产出的东西,而输入恰恰是运营方选择不去投入的部分。打开一个指令微调模型,让它写一个故事。
Google AI Studio 两个并排的 Gemini 2.5 Flash-Lite 实例,产生相同的"老灯塔看守人,Elias"故事
上面两个面板是Gemini,相同的提示词(写一个10句话的故事),两次独立运行。两者开头都是:
> 老灯塔看守人Elias擦拭着黄铜栏杆,他饱经风霜的双手动作娴熟而自如。
接下来的九个句子也完全相同,一拍不差。一场史无前例的暴风雨。一艘船,在广阔海面上的一个小点。他不会让又一个灵魂今夜迷失。
姑且称之为文化模式崩塌,或者只是指令微调的默认盆地:模型回到了少量安全、高分的原型。一个灯塔看守人,通常名叫Elias Thorne,就是其中之一。这个原型带有淡淡的文学气息、感官描写、低争议性、暗示深度、容易获得高评价。一旦盆地有了一个名字,这个名字就会不断回来,跨越模型家族,跨越运行。
这个盆地也是当你给一个能力强大的系统提供一条无处可去的提示词时会发生的情况。"写一个10句话的故事"没有类型、没有前提、没有角色、没有时间、没有地点。模型默认回到训练数据中风险最低的原型,因为提示词没有要求更多。让同一个模型写一部设定在1990年代香港的30页中篇小说,你会得到远在盆地之外的东西。崩塌是真实的;它在提示词不做任何工作时最清晰地显现出来。
这不仅仅是Gemini的问题,2.5 Flash-Lite也不过是一年前的普通模型。向DeepSeek V4 Flash(一个来自不相关前沿实验室的模型)问同样的问题,它开头是:"老灯塔看守人Elias注意到了比以前更浓的雾。"同样的角色,同样的开头基调,两条完全不同的训练流水线。
Gemini 3.1 Flash Lite 在默认温度下故事开头:'Elias站在废弃灯塔的边缘,看着暴风雨在翻腾的大西洋上空积聚力量。'
DeepSeek V4 Flash 在默认温度下故事开头:'老灯塔看守人Elias注意到了比以前更浓的雾。'
不是每一个模型都恰好落到那里,但稍微注意一下就会发现。在快速采样中,对八个(Gemini 3.1 Flash Lite、DeepSeek V4 Flash、Qwen 3.5 Plus、Gemma 4 26B、Qwen 3.6 Flash、Gemma 4 31B、Kimi K2.6、Grok 4.3。2026年5月12日通过OpenRouter测试。)在默认温度下测试,四个命中灯塔看守人,其中两个给他取名Elias,另外两个产生了类似的"老钟表匠"角色,一个产生了"Elara"打开一扇隐藏的门,而Grok 4.3写了一个名叫Tom的小男孩找到地图成为伟大探险家的故事。样本涵盖了不同的默认温度、模型大小、后训练流水线以及从密集架构到混合专家架构。盆地出现在所有这些中,这加强了收敛性的论点。
这个模式并不止于聊天窗口。Google Trends上"Elias Thorne"从2015年到2025年底一直是平的,然后在2026年初飙升至历史新高。相关搜索"lighthouse keeper"较为平缓,但从2023年底开始呈现上升趋势。
Google Trends 图表显示 "Elias Thorne" 从2015年到2025年底持续平缓,然后在2026年初飙升至峰值
Google Trends 图表显示 "lighthouse keeper" 从2023年底开始急剧上升
同一个名字现在以署名作者的身份出现在亚马逊上。Elias似乎对职业变动持开放态度。Kindle商店在"Elias Thorne"名下有一本替代医学癌症治疗方案手册、一本2026年YouTube算法指南、一本希腊神话书和一部心理惊悚中篇小说。没有哪个人类会写所有这些书。第一本书所在的领域,错误建议会造成真实伤害。聊天窗口中模式崩塌的名字,现在作为署名作者横跨多个类型出现。
亚马逊Kindle上Elias Thorne署名的替代医学癌症治疗方案手册,评分4.4星,55条评论
该手册在亚马逊上排名#18肿瘤护理、#32白血病、#51淋巴癌。人们通过他们正在搜索的类别找到了它。
亚马逊最佳卖家排名板块:图书总排名 #2,711,732,但肿瘤护理排名 #18,白血病(图书)排名 #32,淋巴癌排名 #51;4.4星,55条评论
两本亚马逊Kindle书籍上下排列,署名均为'Elias Thorne':一本YouTube算法指南和一本关于以诺书、雅煞珥书和禧年书的评注
两本亚马逊Kindle书籍上下排列,署名均为'Elias Thorne':一本希腊神话书和一部心理惊悚中篇小说
Elias Thorne已经逃出了聊天窗口。亚马逊上替代医学手册的出现,预示了这些系统大规模部署时会发生什么。
危险不在于存在一个看起来像假作者的名字。危险在于,每一个曾经积累信任的公开表面,现在都可以被廉价、勉强过得去的产物填满,速度快到人们来不及检查。
---
这里存在一个单向棘轮效应。在底层数据被污染之前建立起来的声誉,比在之后试图建立的声誉具有结构性更高的价值。一个拥有五年存档(早于各种垃圾内容)的个人博客、一个在2010年代积累的Stack Overflow个人资料、一位在2014年来自具体公司的有名有姓同事的LinkedIn推荐、一位在生成式模仿出现之前就职于某出版物的记者署名——这些都很难被事后伪造,也更难向前制造。AI之前的信号将无法复制,因为每个人试图将其复制进去的底层数据现在已经过于嘈杂,无法赋予陌生人可信度。任何在此之前积累过声誉资本的人都能保留它。而未能积累的人将会发现,获取声誉资本的价格已经大幅上涨。
认为情况会恶化而非好转的理由是,生产成本还有进一步下降的空间,而应对基础设施尚未存在。Spotify正在为Agent生成的个性化音频留出空间;谷歌正在构建围绕主动式Gemini中介的笔记本电脑;OpenAI正瞄准一个无屏幕消费设备进军同一领域。产品排期表不是在询问Agent之间的通信是否会成为默认模式;它已经在给出答案。
两年之内,认为一条从收件箱到另一收件箱的消息涉及一端的人类和另一端的人类,这种假设将显得过时。你的Agent代表你阅读另一个Agent的外发消息,根据你设定一次就不再记得的启发式规则进行回复或过滤,而人与人之间的电子邮件量将趋近于零。
---
生产这一切的成本正趋近于零。但做好这一切的成本却没有变化。没有被完成的工作并不会消失;它被推给了下游的每一个人,对于细心的读者来说它是恼人的,对于无法辨别差异的人来说它是危险的。
相似文章
AI 垃圾内容正在扼杀在线社区
文章认为,在 GitHub 和博客等平台上泛滥的低质量 AI 生成内容(即“AI 垃圾内容”)正在降低在线技术社区的价值。
我找到了对抗AI内容垃圾的方法
作者提出将AI作为研究筛选和综合工具,而非内容生成器,以对抗“AI内容垃圾”。通过构建一个比较并排名专家来源的自动化流程,作者认为未来人类在AI时代的主要角色将是策展人、筛选者和判断者。
我曾是人工智能的忠实信徒。现在我认为整个行业正在从内部腐烂。
一位前AI倡导者详细阐述了对大语言模型的幻灭,指出可靠性问题、版本间退化、企业工作流崩溃,以及部署在关键行业的AI系统缺乏问责制。
以英语为中心的AI正在合并不相关的社群并扭曲身份认同
文章批评了AI系统(尤其是Grokipedia和AI搜索)如何通过以英语为中心的转写和有偏见的训练数据,合并不相关的社群,从而延续错误。文章强调了通过简化英语表述和重复的错误信息抹去文化差异的系统性问题。
AI 还有一个安全问题
文章认为,AI 生成的代码和闭源软件本质上安全性更低,像 Anthropic 的 Mythos 这样的大模型会加剧漏洞,唯有开源项目才值得信赖。