@addyosmani: https://x.com/addyosmani/status/2074927530482835916

X AI KOLs Following 新闻

摘要

Addy Osmani 讨论了在代理工程中“掌控外循环”的概念,强调了人工智能代理系统中的人类问责制、质量检查、裁决和可答复性。

https://t.co/YOd4ptcTeD
查看原文
查看缓存全文

缓存时间: 2026/07/16 14:15

掌握外层循环

过去一年,围绕代理工程的讨论已转向约束循环集群软件工厂。我的观点是:工程师需要掌握外层循环——即对这些系统的问责。随着 Fable、GPT-5.6 等强大模型的出现,这一点只会更加重要。

代理具有杠杆效应,而杠杆带来义务。**必须有人能准确解释:什么改变了、为什么是安全的、以及如果出错会怎样。**否则,他们的行为就无法被正当化。这也就意味着,他们的组织一开始就不太可能要求他们这样做。

因此,我想讨论三个术语。第一个是质量,指我们在系统上线前安装的所有检查。这些检查产生证据,而我们从证据中得出裁决

第二个是裁决,指工作进入我们依赖的系统之前我们做出的最终决定:我是这些内容的流水线生产者。我带领的团队以我的名义交付工作。模型可能写下代码,但裁决由我来做。没有我的决定,我的团队的工作不会进入我们依赖的系统。裁决是一个生产决策:是交付、阻止、重定向、缩小响应范围、添加护栏、还是直接拒绝?

第三个是可答责性,指保证如果有人问,我能解释为什么。

换句话说:我们的代理(我将其定义为模型加上一系列文件、工具、记忆、技能、沙箱、权限、可观测性和恢复机制)运行着我们的循环(我将其定义为调查、实现、验证、重复)。而它创造了我们的软件工厂。

模型只是引擎。约束——工具、记忆、权限、沙箱、测试——是你围绕它构建的汽车,以便它能安全地完成实际工作。

模型只是引擎。约束——工具、记忆、权限、沙箱、测试——是你围绕它构建的汽车,以便它能安全地完成实际工作。

将这种约束包裹在一个可重复的周期中:调查、实现、验证、重复。循环是一次成功运行变成可以信赖的重复流程的方式。将这种约束包裹在一个可重复的周期中:调查、实现、验证、重复——其中由独立检查(而非模型自己的断言)来决定工作何时完成。

将这种约束包裹在一个可重复的周期中:调查、实现、验证、重复。循环是一次成功运行变成可以信赖的重复流程的方式。将这种约束包裹在一个可重复的周期中:调查、实现、验证、重复——其中由独立检查(而非模型自己的断言)来决定工作何时完成。

现在同时运行多个循环。工厂就是规模化的循环——代理在内部交付工作,而人类在边界处掌握决策权。

现在同时运行多个循环。工厂就是规模化的循环——代理在内部交付工作,而人类在边界处掌握决策权。

而工厂的核心,是系统内部与外部之间一条精心设计的边界。系统内部:我们收集输入(来自产品团队的意图、先前交付工作的知识、近期事件、用户的具体反馈)。代理循环调查任务、实施计划、验证结果。然后,证据跨越这条边界。一个拥有依赖系统的人,看到证据并决定是否继续。

朋友们,这就是我们正在尝试的转变。过去,我们的代理在执行循环的内层循环中工作。现在,它们运行内层执行循环。工程师掌握外层循环。

系统内部,我们的代理实际上只做一件事:能力。调查任务、实施计划、测试结果并报告的能力。这就是模型的能力。正如我们所说,那个未来已经到来。

系统外部,也只有一种东西:代理权。决定、验证、批准和拥有的代理权。

你看,我们仍在谈论代码。它只是需要存在于某个地方,并由懂行的人执行。

AI 代码的潜力已不再是边缘话题。在 Sonar 2026 的一项调查中,我们询问了团队中 AI 辅助提交的占比。这个比例很小但并非微不足道。几位受访者表示,他们预计 AI 辅助提交的比例将大幅增长。Sonar 2026 年代码状况报告发现,42% 的提交代码是 AI 生成或显著 AI 辅助的,并且预计这一比例将持续增长而非趋于平稳。

换句话说,创作正在变得更便宜。更稀缺的资源是审查、验证、理解和维护。

我们将生成速度提升到了超出控制速度的程度。于是出现了信任-验证差距。我们接触的许多人仍然对 AI 代码表现出某种程度的不信任。然而,似乎很少有人持续将这种不信任融入他们的验证流程。

这是一个危险的状态。我们需要更便宜、更清晰的方式来验证 AI 代码的可信度。

如果你查看 GitLab 2026 年 6 月的报告,你会发现治理问题已经转变。GitLab 2026 年 6 月的 AI 问责研究表明,审查和验证是使用 AI 时的当前瓶颈,更令人担忧的是,治理通常发生在代码创建之后,在我们已经接受了风险并失去了对所有权控制之后。如今,问题不仅仅是控制。还在于我们对系统设定了什么样的约束。还在于我们如何用证据检查工作,以及如何让团队承担责任。还在于谁会拥有 AI 生命周期的哪个部分。

因此,这个系列的最后区别在于过程与质量之间。质量是反压力的概念。我们是字面意思。**我们不想授予代理尽可能多的自主权。**我们想授予它们刚好足够的自主权,以便我们有足够的反压力来阻止它们、调节它们、检查它们的工作,并确保我们的人性。

常规工程提供了许多信号来表明正在做的工作是正确的。类型检查、测试、钩子、沙箱限制、审计日志、监控。我们的工程系统中充满了这类信号,它们旨在提供足够的反压力以保持系统诚实。

因此,只要我们的代理发出相同的信号,我们就可以信任我们的常规工程提供适当的反压力。

**信任我们的系统并不意味着我们不要人在循环中。**只是说人不需要在内层循环中。我们希望他们在约束循环(应该设置什么输入、架构、指令或不变性?)、采样循环(应该采样和审查多少输出?)、审计循环(应该保留什么证据,如何确保审计日志有效?)和所有权循环(应该拥有生产边界的哪一部分?)。

但人不需要在内层循环中。

代理交付的内容可能超出你的审查能力。

而稀缺资源是你自己的核心人类判断,由日志或测试等质量信号提供信息。

AI 2026 年 6 月的报告显示,在实验环境中,按小时时间尺度进行的代理委托基本上已经实现。OpenAI 今年关于代理和未来工作的研究为这些想法提供了很好的来源。因此,我们需要开始思考如何建立这种所有权边界,因为我们的系统开始交付超出我们审查能力的内容。

这正是可答责性发挥作用的地方。

因为对于长时域代理来说,在数小时时间尺度上做出的决定就是决定。并非所有决定都会被记录。你无法将它们全部追溯到输入 token。如果你只是相信你得到的输出是针对当前问题的正确选择,那么要重建导致该输出的决策链所需的数百甚至数千小时的人力工作将变得不可能。因此,再次强调,可答责性必须成为我们系统设计的核心

三个隐藏成本

有三个隐藏成本:

**认知放弃——盲目接受 AI 给你的东西。**当你将工作委托给代理时,工作本身可能看起来是代理的工作。但实际上这是你的工作。这是你的声誉。这是你的责任。而且你的软件遭受了输出中的缺陷。你的软件需要更改以反映该输出。因此,代理的输出变成了你的答案。随之而来的是所有问责。沃顿商学院的研究表明,当 AI 正确时,这让人放心。但当 AI 错误时,消息并不乐观。当 AI 错误时,仍有近四分之三的人接受它,并且比没有 AI 时感到更自信。

**认知债务——你对如何解决问题的理解和记忆的侵蚀。**当你将工作委托给代理时,你将所有思考工作都转嫁给了代理。虽然自己全部思考需要时间和精力,但在大型代码库上思考需要资源,而当你试图加速学习曲线时,这些资源并不存在。因此,你得到的输出往往是凭你自身无法获得的。而且代理规划的时间跨度越长,代理产生的代码与你对它的理解之间的差距就越大。差距会复合。债务会累积。而攀登学习曲线的成本几乎呈指数级增长。Anthropic 进行了一项随机对照试验,考察依赖 AI 编写代码的工程师是否与自行编写代码的工程师一样理解代码。结论令人沮丧:在理解测验中,通过 AI 工作的工程师得分比未使用的工程师低 17 个百分点,分别为 50% 对 67%。

然后是**编排税——现在很容易启动大量代理,但你的认知带宽无法以同样的方式并行化。**引导代理远离最坏行为,筛选代理产出的工作以识别需要你关注的部分,指导它首先关注你关心的工作,在让它运行之前验证你最重要的约束和最危险的假设……

所有这些都需要工作,而且无法自动化。

人类判断无可替代。

棕地系统尤其危险,因为你需要审计的系统行为并不存在于代码中。它存在于伤疤里。

解决方案?将注意力作为架构决策的优先事项。使用工作树、作用域和证据来减少初始计划与由此产生的工作之间的耦合。为无法操作步骤的解决设定时间盒。并让软件中的更改严格成为选择加入的许可。

阿尔法、衰减和品位:这是三种核心模式,塑造着跨领域的职业和表现。

阿尔法是指当你在玩自己最高价值的游戏时,最高成就者占据的领先部分。衰减是每个人通过重复和观察他人学到的既定模式(如果你愿意,也可以是平台期)。品位是我们最早能感知到阿尔法中的领先或衰落中的变化的能力。它是在我们有任何证据表明某事正在发生之前,我们对即将发生的事情的判断。Paul Graham 的观点是,当任何人都能制造任何东西时,选择制造什么就变得更重要;而 Mitchell Hashimoto 的定义更具操作性:在没有客观指标存在的情况下做出高质量的主观判断。从现在开始,品位驱动一切:阿尔法转变就是品位的改变。而衰退逐渐消失,因为我们开始品味到不同的东西。

下一步?将你的品位操作化。怎么做?给它一个反映你试图从边缘系统向意识系统转移的目标的名字。通过批评和示例来实践它。将其理由明确化。

并持续做出能为你所在行业带来最持久竞争优势的举动。那是什么?不断将边缘从仅仅完成任务提升到教授任务、系统化任务、决定何时完成任务、并拥有结果。

每个人都是开发者,但并非每个人都是工程师。当开发者拥抱一种更严格的工作纪律时,他们就变成了工程师:全面且逻辑严谨的推理、考虑约束和权衡、识别风险与暴露、以及实际的问责。

未来,人们将离开工程的行政工作,拥抱随着工程变得越来越苛刻而出现的新角色。这些角色从工匠精神中解绑出来,但明确每个人的职责。会有原型师、构建者、扫荡者、成长者、维护者。

人类也掌握着系统的另一面边缘。在另一个方向上增加阿尔法:选择什么值得做,定义应在其范围内完成的约束,决定证据是否足以继续,并关心结果。无论是一个团队还是一百个团队,这是只有人类才能持有的边缘。

**问责将规模化工厂。**就像注意力和品位一样,问责也是让一切运转的三元对立之一。**没有问责,就没有规则。**没有与质疑者的纠缠。没有权衡。没有风险。没有安全网。如果没有人承担决定的后果,那么高代理权只会带来混乱。

一个边缘的半衰期是一个发布周期,但一个签名的半衰期是一段职业生涯。签名是你对工作的署名,让你觉得可以为自己交付的东西负责。技能给你杠杆;问责将杠杆转化为信任。

只有人能选择。只有人继承后果。代理可以被要求在选择、路由、合并和升级时安全地在策略内进行,但它们无法继承后果。

每个代码库也许都应该附带某种问责契约,明确列出变更被接受时理解的检查清单、决定所依据的证据、对变更负责的人、以及变更被阻止后的系统状态。就像这样:

  • 你的注意力和品位

  • 你的证据、裁决和所有权

  • 你的阿尔法、衰减和品位

高代理权

在典型的代理工作流中,高代理权是一门艺术:知道何时委托、何时检查、何时停止、以及何时拥有流程的结果。代理权的阶梯从低到高:标记潜在问题、调查、执行、诊断、提出解决方案、推荐修复、解决问题。代理权阶梯上的高一级是辨识力:发现了,但不值得修复,继续前进。

支撑软件工厂的十二根支柱

棕地是希望规模化的工厂的前沿。所有那些聪明的小创新可能还感觉不到什么,但生产环境却异常复杂。在构建一个全新系统时,规划并实施足够的反压力机制要容易得多,因为你拥有完全控制权。然而,当你将智能代理添加到遗留系统中时,情况就完全不同了。

遗留系统包括全部生产行为、客户未来的期望、迁移历史、发布和预算周期时长、未言明的假设、边缘情况、数据异常、运行手册程序、以及所有因缺乏维护意愿而累积的伤疤。

成为棕地的管理者需要一种持久的工程能力。必须将隐性知识转化为显式约束,使其在团队间保持一致,并

(注意:原文在此处截断,但根据前面内容,最后一句应为“保持其连贯性”之类的。但为了忠实于原文,我们只翻译提供的内容。原文在“keep it coherent across teams and t”处中断,可能是“teams and time”或类似。我们按现有文本翻译。)

保持其在团队间和时间的连贯性。

相似文章

@addyosmani: https://x.com/addyosmani/status/2079442194449232227

X AI KOLs Following

Addy Osmani 的这篇文章探讨了将软件工厂视为规模化代理循环的概念,区分了有人类监督的明工厂和没有人类监督的暗工厂,并强调了理解与设计循环、调控机制和工厂结构的重要性。

Addy Osmani (@addyosmani) on X

X AI KOLs

循环工程是一种与AI编码代理协作的新方法,它通过设计自动循环来提示和管理代理,而不是直接提示它们。这一概念包含五个构建模块——自动化、工作树、技能、插件和子代理——外加外部记忆,并且已在Claude Code和Codex等工具中实现。