@alex_prompter: https://x.com/alex_prompter/status/2072003526755266744

X AI KOLs Timeline 新闻

摘要

Anthropic 的 Claude Code 遥测数据显示,用户批准了 93% 的权限提示,导致同意疲劳。本文主张在计划层面设计人工检查点,而非每个操作都检查,以提高输出质量,引用了 Anthropic 的内部数据、Chip Huyen 的建议以及 Microsoft 的爬-走-跑框架。

https://t.co/adMTnxSpxC
查看原文
查看缓存全文

缓存时间: 2026/07/01 14:09

/人在回路中

别再批准AI的每个动作了。开始设计你在回路中的位置。

批准每个动作会让你陷入“同意疲劳“和“橡皮图章式“的机械反应。而设计好你的检查点,才能让你的输出质量随着每一次交互而提升。

Anthropic 发布了 Claude Code 的内部遥测数据,显示用户批准了93%的权限提示。他们自己的工程师将其命名为“同意疲劳“。人名义上在回路中,实际上已经形同虚设。

他们的解决方案并非将人从流程中移除,而是重新构建人类参与的环节,从逐动作审批转向计划层面的审查、监控和定向干预。

Chip Huyen 从另一个角度也表达了同样的观点。在 O’Reilly 平台自发布以来阅读量最高的技术书籍《AI Engineering》中,她的建议是从“人在回路中“开始,随着对 AI 信心的增长,逐步提高自动化程度。微软围绕同样的原则构建了整个采纳框架,并称之为“爬行-行走-奔跑“(Crawl-Walk-Run)。

人在回路中是一种工作流架构。你定义人类判断在何处进入流程,AI 根据这些检查点进行迭代,最终输出的结果,任何一方单独都无法企及。

人在回路中的真正含义

Anthropic 分析了2025年10月至2026年4月期间大约40万个 Claude Code 会话。其中几乎所有会话都遵循同一个模式:人做规划决策,AI 做执行决策。

一个人带来的领域专业知识越多,AI 在每条指令下完成的工作量就越大,成功率也越高。这并非安全概念,而是一种工作流架构,可拆分为三个阶段。

输入涵盖 AI 开始工作前的一切。你的任务描述、约束条件、上下文、提供的示例。人们几乎总是对这部分投入不足,然后在纠正因初始提示不当而产生的错误输出上,花费两倍的时间。

引导发生在 AI 工作过程中。监控其方向,出现偏差时进行干预,审查计划而非批准每个单独的操作。

Anthropic 的数据显示,经验丰富的用户自动批准单个动作的比率是新用户的两倍,但他们中断 agent 执行过程的频率远高于新用户。他们观察的是轨迹,而非步骤。

输出审查是最终关卡。你接受什么、拒绝什么,以及评判的标准。这听起来理所当然,但几乎每个人都会跳过这一步,直接采用收到的第一个输出结果。

每一个行之有效的“人在回路中“工作流,都是这三个要素的某种组合。

从输出审查开始

这是最简单的切入点,也是见效最快的一个。

在 “Code with Claude” 活动中,Anthropic 推出了一个名为 “Outcomes” 的功能。它增加了一个评分循环:你定义出“足够好“的标准,系统在交付输出前,先根据这些标准自我评估。模型本身没有任何变化。同样的 AI 运行同样的提示,只是增加了一个评分检查点。

结果如何?幻灯片生成质量提升了10.1%,文档生成质量提升了8.4%。

这个数字之所以重要,是因为它证明,很大一部分糟糕的 AI 输出并非模型问题,而是评估问题。在输出交付前,根本没人检查它是否真的好。

你不需要借助平台功能就能自己做到这一点。这种做法比工具本身更简单。在开始任何 AI 任务之前,先用具体条款写下一个好的结果应该是什么样子。

然后,在使用输出之前,将其与你自己的标准进行对比。一次针对既定标准的有意审查,就能消除让 AI 输出显得不可靠的大部分错误。

不要在第一天就彻底翻修整个工作流。选择一个你已经反复执行的 AI 任务——无论是写邮件、写初稿、做总结还是写代码——然后增加一个简单的审查检查点。仅此一项,就已经比绝大多数人实践中的“人在回路中“做得更好。

增加引导层

输出审查在问题发生后才捕捉到它们。而引导则在问题发生前就加以预防。

旧的引导模式是逐动作审批。AI 提出建议,你批准或拒绝,AI 再提出下一步。Anthropic 93% 的批准率证明了这种方法在规模上是有缺陷的。

在一个会话中有数百个动作的情况下,人们早已不再仔细阅读他们在批准什么。Ilya Kabanov 在分析 Anthropic 自身研究时,直白地描述了现实:实际发生的是事件响应,而非监督。

Anthropic 的替代方案是一种他们称之为“计划模式“(Plan Mode)的模式。AI 不会逐个批准每个动作,而是预先提出其意图执行的完整动作序列。你审查、编辑并批准整个计划,然后计划才会执行。

你仍然可以在执行过程中进行干预,但认知负荷从“评估200个微决策“转移到了“审查一个计划并观察是否有偏差“。

这个模式可以直接应用到任何 AI 工作流中,无论使用何种工具。给 AI 一个结构化任务,让它先概述执行方法,然后再开始执行。审查其概要,然后让它运行,并在自然断点处回来检查,而不是在每个步骤上都紧盯着。

对于日常工作的实际实现,就是一份引导文档。可以是 CLAUDE.md 文件、一套自定义指令集或一个系统提示词,其中编码了你的标准、约束和反复出现的偏好。一份维护良好的引导文档,可以替代数百次会话中的修正,因为 AI 在你开始输入之前就已经知道了你的规则。

构建输入层

这个阶段将那些能获得可靠结果的人与那些一直在与 AI 工具作斗争的人区分开来。

人们几乎总是通过输入模糊指令来开始一个会话,然后花费80%的时间来纠正输出。这就是循环在反向运行。人类的努力落在了最后——在重新提示和输出修正上——而本应落在最前面。

Anthropic 的会话数据直接显示了这一模式。一个人带来的领域专业知识越多,AI 在每条指令下完成的工作量就越大。

这里的“专业知识“不单指技术技能,而是指你知道自己想要什么,并且能够精确地描述它。一位高级工程师写出一份清晰的任务描述,附上约束和上下文,其每条提示的产出比一个只写“修 bug“然后等着的人要多得多。

输入层正是你编码这种精确性的地方。你的任务描述、你的上下文文件、你的参考示例、你的边界。AI 需要理解的不仅仅是做什么,还有你希望它怎么做,以及限制在哪里。

一个可靠的结构包含三个部分。首先,用一句话陈述目标。其次,定义约束条件,即输出必须包含什么以及不能包含什么。最后,提供一个好结果的例子。这个三元组给了 AI 足够的结构,使其能在第一次尝试中就产出可用的内容,这样你的输出审查只需要捕捉改进点,而不是进行根本性的重写。

构建这个结构感觉像是额外的前期工作,确实如此。但它在之后的每一次会话中都会节省数倍的时间。那些在输入层投入一次的人,会立即开始进步。而那些从不构建输入层的人,每次打开一个新聊天,都等于重新回到起点。

运行完整的循环

以下是一个单一任务中,三个阶段协同工作的样子。

一位开发者需要重构一个支付处理模块。如果没有“人在回路中“的设计,这个过程会从一个“重构支付模块“这样的提示开始,最终得到一个500行的 diff,它更改了公开 API,破坏了两个测试,并且使用了与代码库其余部分不同的命名约定。开发者需要花费一个小时手动修复输出。净节省时间趋近于零。

而有了三个阶段的加持,同样的任务运行方式截然不同。

输入在 AI 接触任何代码之前就已结构化。“重构支付处理模块。不要修改公开 API。保持与 v2 端点的向后兼容性。遵循 /src/auth 中的命名约定。这是当前的测试套件作为上下文。“这大约需要五分钟来编写,但却消除了后续可能发生的80%的修正。

引导发生在 AI 在执行前概述其重构计划时。它提议提取三个辅助函数,整合错误处理,并重构重试逻辑。开发者发现 AI 计划合并两个因限流原因需要保持独立的函数。一次重定向,十秒钟。AI 修改了计划并开始执行。

输出审查大约需要十分钟。开发者根据最初的约束条件检查 diff。公开 API 未更改。测试通过。命名约定一致。接受。

第一种方法(没有循环)花了90分钟。第二种方法(有循环)花了大约25分钟。区别不在于两次尝试之间 AI 变得更聪明了,而在于人类将时间投入在了流程的前端,而非后端。

这就是任何 AI 辅助任务——不仅仅是代码——的模式。写作、研究、分析、设计。前置你的输入,引导计划,根据既定标准审查输出。无论领域如何,循环本身是一样的。

关注你的工作将变成什么样子

当三个阶段都到位时,你与 AI 的日常交互将彻底改变。

你不会再花一个小时输入模糊请求并纠正输出。你开始编写结构化输入,只需五分钟,就能在第一次或第二次尝试时产生可用的结果。你的引导文档会在会话之间积累知识,因此 AI 会在你特定的工作上不断改进,而无需任何模型升级。

你的任务列表不再是生产清单,而是一份审查清单。你一天的核心,从生产转向了指导。你不再撰写初稿。你在定义一份好稿子的标准,审查返回的结果,并为下一次迭代优化标准。

这并不意味着你停止思考。而是意味着你的思考提升到了另一个维度。你不再选择词语,而是在选择方向。你不再逐行调试代码,而是在审查架构,在错误级联之前将其捕获。

那些真正需要人类的部分——比如判断力、品味、领域知识和战略决策——会得到你更多的关注,因为那些不需要的部分已经由 AI 处理了。

那些构建了这种工作流一次的人,会在未来多年里持续构建。而那些一直输入一次性提示并指望好结果的人,会在每次会话中重置归零。

旧版本的“人在回路中“要求你批准每一个动作。这从未能够扩展,数据也证明了这一点。

新版本要求你投资于三件事:你的输入、你的引导和你的审查标准。只需构建一次,AI 就能在每次会话中处理更多工作,而你则处理得更少。不是因为你被取代了,而是因为你终于在一个人类真正能发挥作用的维度上运作了。

相似文章

现在还有人真正会看代理权限提示吗?

Reddit r/AI_Agents

这篇文章强调了用户在使用编码代理时盲目点击权限提示的问题,并提出了一种基于fork的工作区方法(在Gensee Crate中构建),代理在隔离的副本上工作,从而实现安全实验和并行方法,不过外部API调用仍然是一个挑战。

@ghumare64: https://x.com/ghumare64/status/2052825541057626258

X AI KOLs Timeline

一个X帖子认为生产级AI代理需要运维支撑框架(运维手册、权限、日志、回滚、验证),而不仅仅是更好的提示词。作者引用了DevOps演进历程,指出提示词提供建议而运维手册提供控制,代理系统需要平台工程解决方案来实现权限、状态管理、验证、可观测性和回滚能力。