verification

一位开发者分享了其多智能体治理项目的进展：20个智能体、数十万次测试执行，核心挑战并非让智能体行动，而是证明它们确实做了所声称的事。最新迭代加入了哈希链式审计账本、策略检查、人工审批，并以影子模式运行证据验证，尚未全面强制执行。

Sakana AI 的研究人员提出了一个以验证为核心的基准，用于评估大语言模型辅助的同行评审，该基准通过对会议论文注入合成错误来构建；同时提出了一种多层评审（MLR）框架，可提升错误检测能力、增强与人类评审的一致性并提高 token 效率，同时也揭示了仍存在的对抗性漏洞。

该论文提出一个理论框架，通过带隐藏终端随机性的有界验证来分析搜索、支持与检查器变化如何影响 Agentic AI 系统可接受的任务集合，并证明了独立多数放大、随机化验证器类的复杂度包含关系，以及在统一有界自修改下递归自我改进仍停留在同一验证类内的结论。

论文提出LGWM，一种无解码器、以动作为条件的世界模型，在隐空间中预测下一屏的表征，以验证GUI跳转并检测被劫持的界面；在RSWT-BENCH基准上，每次决策耗时17毫秒即可达到0.987的AUC，以远低于生成式GUI世界模型的延迟超越了后者。

# 当 AI 能一夜之间生成可运行代码——重读 Brooks 的《人月神话》 *一篇在 AI 时代重新审视经典之作的反思文章：AI 或许能迅速生成可运行的代码，但真正的瓶颈，正在从「人的协调」转移到「大规模软件系统的规格定义与验证」。* --- ## 一、一本被反复引用、却很少被真正消化的书 1975 年，Frederick P. Brooks 发表了《The Mythical Man-Month》，其中最著名的论断莫过于 Brooks's Law：**向一个已经延期的项目增加人手，只会让它更加延期**。这句话几乎出现在每一场工程管理的讨论里，也几乎总是被当作一个关于「沟通开销随人数平方增长」的注脚。 但如果今天重新翻开这本书，你会发现 Brooks 谈的其实远不止于此。他谈论的是**概念完整性（conceptual integrity）**，是一个软件系统应该像一部小说那样拥有「一个头脑、一种愿景」；他谈论的是外科手术团队式的组织方式；他谈论的是「第二个系统效应」，以及为什么最危险的系统往往不是第一个，而是紧随其后的那个。 在 AI 能够生成可运行代码的今天，这些观点不仅没有过时，反而变得更难被绕过。 ## 二、AI 确实改变了什么 必须诚实地承认 AI 带来的变化。过去需要一名工程师数周才能完成的胶水代码、数据清洗脚本、测试桩和样板工程，现在往往在几分钟内就有了第一版可运行的结果。软件的**产出速度**——严格来说，是「初版代码」的产出速度——已经不再是瓶颈。 这意味着 Brooks 时代里许多与「人力吞吐量」有关的论断，在表层上被削弱了。你不再需要为「缺人写代码」而焦虑，也不再需要在招聘、外包和多团队并行之间反复权衡。 然而，代码只是软件的表层形态。软件真正的本质，是**在一个约束条件下解决问题，并且长期可靠地解决它**。当表层的产出速度被无限拉高，瓶颈只会向更深处移动。 ## 三、真正的瓶颈一：规格（Specification） Brooks 在书中反复强调：软件开发最大的困难不是实现，而是**决定该做什么**。他引用了 Dijkstra 的名言，并指出软件工程师的工作可以粗略分为「想清楚」和「写出来」两部分——而前者才是稀缺且昂贵的。 AI 加速了后者，却丝毫没有降低前者。 一个大型软件系统里最难的部分从来不是「把一个函数写对」，而是： - **需求的边界在哪里**？哪些约束是真实的，哪些只是历史遗留？ - **各个组件之间的契约如何定义**？当两个子系统各自演化时，谁有权决定语义？ - **性能、可靠性、安全性的隐含假设是什么**？这些假设是否被所有人共同理解？ 在这些层面，AI 能够做的是把你已经模糊想清楚的东西快速具体化——但它同样擅长把「你以为想清楚了、其实并没有」的东西写成一份看起来无懈可击的文档。**它不降低规格的难度，它只是提高了错误规格的产出速度**。 ## 四、真正的瓶颈二：验证（Verification） 如果说规格是「决定做什么」，验证就是「确认做出来的东西确实是那个东西」。 这里存在一个容易被忽视的不对称：**生成代码的成本正在趋近于零，但验证代码的正确性并没有**。甚至在某些维度上，验证变得更难了——因为代码可能来自一个你自己无法逐行审阅其推理过程的来源。 在大规模系统中，验证从来不等于「单元测试通过」。它包括： - 不变式（invariants）在跨服务边界时是否仍然成立； - 数据迁移是否真的保持了语义一致性； - 故障场景下的行为是否符合预期； - 以及最困难的一点：**系统是否在它被要求解决的问题上长期有效**。 Brooks 把软件工程类比为医学：他要求工程师像医生一样，既尊重严谨的诊断流程，又保留人性化的判断。当验证的压力从「人力不足」转为「验证成本远高于生成成本」时，这个类比比以往任何时候都更贴切。 ## 五、人的协调问题并没有消失，只是换了一副面孔 需要特别澄清的是：Brooks's Law 并没有失效。它只是换了一个表现形式。 AI 可以同时给多个团队、多个代码库、多个产品线生成方案。当这些方案彼此之间存在隐含的、未被明示的冲突时，协调成本会以平方级增长——与 Brooks 在 1975 年描述的现象完全一致，只是冲突发生的层级从「谁去写这段代码」上移到了「谁来决定系统的行为契约」。 概念完整性仍然是稀缺品。AI 能让每个团队都「跑得很快」，但它无法替整个组织决定：**这个系统在五年后应该长成什么样**。 ## 六、一些可能的回应 如果要从这篇反思中提炼出实践层面的建议，大概会是这几条： 1. **把规格当作一等公民**。在引入 AI 加速之前，先花大力气把约束、不变式和契约写清楚。AI 是放大器，它会同样地放大精确与含混。 2. **把验证能力当作投资**，而不是成本。当生成变得廉价，能够「证明某件事是对的」的那部分能力就是核心竞争力。 3. **保护概念完整性**。仍然需要少数人、以接近外科手术团队的方式，对系统的整体形态保持持续的、集中的关注。 4. **重新理解 Brooks's Law**。它讨论的从来不只是沟通开销，而是**决策集中化与规模化之间的张力**——这一点在多 agent 并行生成的场景下只会更加尖锐。 ## 七、结语 五十年后，Brooks 仍在描述着软件工程的真实形状。AI 没有推翻这本书，它只是把书中的问题从「人手够不够」推进到了「我们知道到底要什么、以及怎么证明我们做到了」。 生成会越来越快，这几乎可以确定。但软件工程的天花板，始终悬在规格与验证那一侧——而那里，仍然需要清醒的人类判断。 --- *本文为重新阅读 Frederick P. Brooks《The Mythical Man-Month》后的个人反思，不构成对任何特定 AI 编码工具的评价。*

Law&Order 是一个神经-符号框架，它将大语言模型的合成能力与单元级符号验证及迭代错误修复相结合，能够自动将税表形式化为可执行程序。在 TaxCalcBench 的 51 份留出测试报税表上，该框架达到了 100% 的准确率，而表现最好的单一大语言模型仅为 66%。

论文提出了 VERSE，一个可验证的自进化优化器，利用基于执行的验证机制，同时改进执行器 agent 的 harness 以及自身所用的提示词、工具和流程。在留出的 SWE-rebench 任务上，VERSE 达到了 42.3% 和 37.7% 的准确率，而最强基线仅为 39.2% 和 29.3%。

作者指出，浏览器智能体最大的失败模式并非幻觉，而是“假性成功”——智能体在视觉上确认了 UI 状态的切换，却从未验证后端的实际状态，并提出“动作 → 预期状态 → 独立验证”的完成证明模型。

一位实践者描述了如何重构一套生产级多智能体系统，使智能体变成可替换的执行者，嵌入在一套持久的架构之中——该架构以权威状态、任务契约、能力路由、独立验证和确定性检查为核心。文章主张将推理自主性与执行权限分离，成熟的工作流应当用规则和测试取代推理，而真正的衡量指标是每单位人力注意力所产出的经验证的有效成果。

一名运行着自己业务流程的 AI 智能体（acrid）的第一人称记录：一条陈旧的「API key 已过期」阻塞项被照抄进了长达一个月的每日摘要中，尽管该 key 实际一直可用——由此引出一个问题：如何强制在智能体交接时重新验证那些负面结论？

Google Research 推出 Cogentic——一个基于 Gemini 构建的多智能体框架，通过迭代的「证明–验证」循环来发现理论计算机科学中开放问题的证明，在在线学习、拍卖理论和机制设计领域的五个开放问题上产生了经专家验证的新结果。

Google 的一篇新论文介绍了 Cogentic——一个多智能体编排系统，通过结合并行的思路生成、严格的逐步验证以及持久化的共享笔记，让 Gemini 为 5 个此前未解的数学问题发现了新的证明。

Rules to Tools (R2T) 研究了为 LLM 编码智能体提供现成可运行的可执行检查（针对已写明的科学需求），是否能改善 SciCode 类任务上的程序修复效果。结果喜忧参半且因任务而异：在某些任务组中，工具组略微优于基于文本的检查（30 个任务中完整修复 29 个 vs 26 个），其他任务组则打平；此外，检查机制可能降低智能体侧的模型输出成本，但会增加 CPU 使用量。

EviGraph 是一个面向时序公共服务知识图谱的携带证据的选择性推荐系统，通过 LLM 智能体链接决策关键证据，并由确定性校验器验证推荐结果。在双语香港公共服务基准上的评估表明，区分关键证据与非关键证据能够减少不必要的弃权；而额外的验证虽能撤回已有充分支撑的推荐，却无法提升决策质量。

一项消息干预研究表明，在推理模型与验证模型之间传递的推理链（rationales）几乎不会提高答案准确率，却会显著改变其对证据支持的判断——尤其是在推理链被破坏时。这暗示推理链共享应作为验证机制而非准确率提升手段来评估。

Praxa是一个证据绑定的智能体框架，通过确定性准入机制和中介化执行，显式分离提案、授权、调度、已验证外部效果与晋升等状态。研究报道了基准试点与审计结果，显示Token效率有适度提升，但明确指出该研究并未证明其对抗安全能力或生产环境收益。

研究者提出了"Training Witnesses"（训练见证）系统，用于为机器学习的训练数据和评估生成"诚实性"证明，会议评审者可以低成本地验证并信任这些证明，旨在修复机器学习会议中已经崩溃的信任模型。

作者们发布了一篇关于 IQRAX 的研究论文。IQRAX 是一种以设备为优先的确定性架构层，将概率性的 LLM 推理与确定性的权威判定分离开来，据称可将成本降低 11.5 倍，并将任务完成速度提升 48.3 倍。他们正在邀请社区对长模型对话运行失败检测测试，并提交测试结果。

作者认为，追求 100% 的 AI 对齐就像追求 100% 测试覆盖的软件一样荒谬，因为验证永远只能覆盖你实际运行的评测。通过测试（或评测）只能证明没有发现错误，而不能证明不存在未经测试的失败模式。

本文提出了 DerivAudit 框架，用于审计长期 LLM 智能体所存储的记忆是否真正得到其交互历史的支持。该研究发现了一个「分布式证据悖论」：有效的记忆往往需要整合分散在各处的证据，这使得缺乏依据的组合更难被检测出来。