Salvaggio：'有用'的Agentic AI加深而非解决LLM风险

在AI讨论中，有一种常见的做法：将广泛采用作为对批评的反驳。理由是，如果数百万人在使用，那么担忧必然被夸大了。Eryk Salvaggio在[Tech Policy Press](https://www.techpolicy.press/stochastic-flocks-and-the-critical-problem-of-useful-ai/)撰文持相反观点。他写道，人们使用语言模型“并不会使对它们的批评失去意义，反而使其变得紧迫。”文章聚焦于Agentic AI：按照Salvaggio的框架，这些系统会“规划”，生成编写更多代码的代码，并在多个应用和模型之间执行多步骤操作。他引用了2021年的一篇奠基性论文，其中Emily M. Bender、Timnit Gebru、Angelina McMillan-Major和Margaret Mitchell将LLM描述为“随机鹦鹉——从训练数据中再现统计上可能模式的系统。”Salvaggio写道，Agentic系统“将所有这些鹦鹉堆叠成交互输出——一个随机鸟群。”当模型串联时，其根本局限并不会消失；它们会叠加，并且变得更难察觉。一个被命名的后果是“slopware”：AI生成的软件应用，其生产速度远超有意义的审查能力，通常针对短期问题。Salvaggio的例子很精确：一个硬编码的变量使得单身男性的家庭财务计算器工作正常，但单身母亲使用时却导致透支费用。这些错误并非随机噪声；它们是不可见的假设，在大规模使用时会造成伤害。他还提供了一个面向政府的版本：一个小镇使用代码编写垃圾收集调度器，结果发现它每天向一个Excel文件发送请求，而该文件每晚被删除。他注意到，幻觉“在数学上不可能消除”，这意味着每个Agentic链都继承了这种不确定性，并在后续每一步中传播。当部署者是政府时，风险进一步升级。Salvaggio指出，政府机构面临压力，要求使用这些系统来自动化福利决定、合同分析和监管审查——在这些领域，级联故障可能对人产生严重后果。在这些场景中，代码“在未经验证之前必须被视为不可信任”，而Agentic模型的显著特征就是以超过验证速度的速度产生输出。Agentic系统还“反复循环，消耗的资源远多于更有目的构建的软件”，这些成本集中在计算基础设施上。他指出的更广泛模式是计算解决方案主义：能够生成代码使组织倾向于用新的代码行来解决政策挑战，即使问题本身并非编码问题。文章没有提供具体的治理框架，也没有提出有意义的审查在Agentic系统生成代码的速度下应该是什么样的具体建议。它更像是诊断而非处方：审视“有用”的含义，对谁有用，以及在什么条件下有用。这种框架对采购和政策决策确实有用，而谁有权回答这个问题则是文章留下的开放性问题。