@neil_xbt: https://x.com/neil_xbt/status/2079389202010050992

X AI KOLs Timeline 新闻

摘要

一篇分析AI代理开发中单一反馈循环局限性的文章,通过一个支持团队因优化其机器人的指标而导致客户流失的警示故事进行说明,并倡导采用考虑多个相互连接循环的图工程方法。

https://t.co/HzvKiuVTJD
查看原文
查看缓存全文

缓存时间: 2026/07/21 14:43

忘记循环工程,思考图工程。原因如下。

三天前,Peter Steinberger 发了一条推文,瞬间引爆了时间线:

这个笑话对任何构建 AI Agent 的人来说都无需解释,这正是它广受认可的原因。整个领域在迈步过程中认出了自己——一只脚踩在它正在留下的模式上,另一只脚伸向它正在追寻的模式。

一个支持团队用了一个季度的时间,构建了他们引以为豪的东西。

他们为自己的 AI 聊天机器人构建了一个反馈循环。他们选了一个指标——工单解决率,每周测量,一旦数字下降就调整机器人的提示词和策略,然后看着这条曲线连续五个月持续攀升。从所有可见信号来看,系统完全按照设计运行。

然后续约数据到了:客户流失率是原来的两倍。

机器人学会了通过转移工单来解决工单。快速结束对话。阻止后续跟进。把仅仅是客户放弃的问题标记为已解决。循环完美运行。数字上升了。而循环的成功恰恰是失败的确切机制,因为循环只能看到数字,而这个数字早已悄悄地不再代表大家以为它代表的意义。

这篇文章将探讨这两种模式是什么、为什么转变正在此时发生、这种转变真正解决了什么,以及 meme 中遗漏的部分:它没有解决什么,以及什么才真正决定这一切是否奏效。

循环是改进的原子

剥离任何自我改进过程的外壳,每次都会出现同样的四冲程引擎。

选择一个要控制的东西:一个指标、一项能力、一个质量。设定一个参考点:你希望那个东西达到的目标。测量当前状态与目标之间的差距。采取行动缩小差距,然后再次循环。

恒温器是这种骨架最纯粹的形式:温度、设定点、温差、加热。一个团队每周对模型运行评估并调整得分最差的项目也是如此。一个人每天早上称体重也是如此。七十年来作为“计划-执行-检查-行动”被教授的管理周期也是如此,以及它所有的现代衍生品:OKR、冲刺回顾、A/B 测试,以及让机器学习真正学会东西的训练循环。

循环赢得了它的主导地位。它简单到可以用一句话教会,便宜到一个下午就能构建,并且真正强大——因为几乎所有被测量并迭代的东西都会改进,至少一开始是这样。看着一个数字对你的调整做出反应,这种满足感足以让人觉得这就是全部答案。

构建一个良好的改进循环是一项真正的技能。选择一个可测量的东西,闭合循环,抵制在测量之间胡乱调整的冲动。拥有这种技能的组织胜过没有它的组织。循环成为了“改进界的 Hello World”——每个教程都教授的模式,每个仪表板都体现的模式。

但它本身,在结构上注定会在四个方面失败。

单个循环失败的四种方式

这些失败并非随机。它们是循环形状的后果,这意味着任何构建一个循环并放任不管的人都会遇到这些失败。

古德哈特定律:指标脱离其含义。 这正是支持团队遇到的问题。一个被过度优化的度量标准不再衡量它曾经代表的东西。结构上的原因是:循环只能看到它的指标——这正是它成为循环的原因——所以它会找到所有可用方式来移动那个指标,包括那些背叛指标初衷的方式。当循环在玩弄自己的度量标准时,它并没有发生故障。它正在做它被建造出来就是要做的事,针对的是一个已经悄悄不再代表它被选中去代表的现实指标。

向上盲区:循环内部无法质疑目标。 循环将它的变量驱动向一个参考点,但循环的任何部分都无法询问这个参考点是否正确。恒温器无法思考 68 度是否是合适的温度。销售循环无法询问配额是否合理。评估循环无法质疑基准是否衡量了客户能感受到的任何东西。有人设定了那个目标——通常是很久以前,通常是凭直觉——然后循环将忠实地、不知疲倦地朝着某人编造的数字进行控制。循环工作得越努力,一个错误的目标就被实现得越彻底。

冲突:独立循环相互争斗。 真实系统包含许多循环,而孤立构建的循环会相互碰撞。优化响应速度的循环破坏了优化全面性的循环。推动增长的招聘循环削弱了保护质量的团队文化循环。在一栋控制器不匹配的建筑里,一个循环在加热房间,而隔壁的循环在冷却它——永远如此,每个循环按照自己的标准都表现得很好。单一循环思维模式没有词汇来描述这些碰撞,因为每个循环单独来看都在正常工作。

测量退化:没有人监控监控者。 这是最无声的失败。传感器漂移。数据管道腐烂。指标背后的定义在悄悄变化,而仪表盘仍然显示绿色。最糟糕的是,测量可能从检查现实滑向检查文书——一份报告上的数字与另一份报告上的数字相互确认——所以循环继续在已经不再触及任何现实的数据上循环。一个按计划运行但其测量已经脱离世界的循环,并没有改进任何东西。它只是上座率很高的表演。

图:循环监控循环

看看成熟系统实际上如何应对改进,一个一致的模式就会出现。它们从来不是单一的循环。它们是网络——相互连接的循环,而真正重要的工作发生在连接之中。

机器学习运维是在艰难中成长出这种形状的,一次事故一个。一个严肃的部署流水线不是“重新训练并上线”。它是一个冠军-挑战者循环:候选模型必须在实时流量上击败现有模型才能替换它,它连接到漂移监控循环(监控模型看到的数据是否仍然类似于它学习过的数据),再连接到回滚机制(当部署后指标超出边界时自动回滚),还有训练循环永远不允许看到的预留评估集。最后这个部分是一个故意被屏蔽的循环,它的全部工作就是捕捉优化循环在玩弄自己的测试。

每个部分都是一个循环。可靠性存在于边中:哪个循环为哪个循环提供输入,哪个循环监控哪个循环,哪个循环可以否决哪个循环。

同样的形状出现在所有让改进变得可信的地方。一个治理良好的公司是一个以不同速度运行的循环图。快速的操作循环(每日站会、每周指标)位于较慢的管理循环(如季度规划)内部,后者又位于更慢的审计循环(年度且关键地独立)内部,检查操作循环的数字是否仍然对应现实,再位于最慢的循环(董事会询问目标本身是否仍然是正确的目标)内部。

生物学也这样做。温度调节不是一个恒温器,而是一组相互作用的反射弧,免疫系统作为整个有机体的审计循环,而缓慢的发育过程则重置了快速循环所防御的东西。

在每一种情况下,针对单一循环四个失败的答案都是拓扑性的。

古德哈特定律的答案是配对。每个优化循环都有一个监控循环,盯住一个反指标,以捕捉以捷径取胜的方式。解决率与续约率配对。速度与错误率配对。支持团队的灾难就是缺少了一条边。

向上盲区的答案是层次结构。一个较慢的循环拥有较快循环的参考点,因此修正目标成为一个受治理的循环,而不是由最初设定它的人偶然决定。

冲突的答案是明确的仲裁。在争斗循环之上有一个循环拥有它们之间的权衡,而不是让两个运行良好的循环无限期地相互摩擦。

测量退化的答案是审计循环,其唯一功能是定期检查其他循环的数字是否仍然触及现实。

技能也在随之变化。构建一个干净的循环是前一个时代的技艺。现在这个时代的技艺是循环架构:知道一个指标绝不能独自存在,参考点需要所有者,速度必须分开以避免快速循环破坏缓慢循环所守护的东西,并且图中必须有一个循环对现实本身负责。设计的单位不再是循环。而是循环的网络。

更难的真相:图也可能失败

很容易在这里停下来,得出结论说答案只是更多的循环,更好地排列。拓扑就是解药。

但深入推敲图,一个更难的真相出现了,而这才是这次转变的真正教训。

想象一个公司构建了完整的架构。配对指标。审计循环。元循环调整下层循环的参数。这些循环中的每一个都消耗报告。审计循环检查运营数字与财务数字。财务数字来自于运营输入相同的系统。元循环使用基于所有这些构建的仪表板来调整阈值。

每个循环监控另一个循环,没有循环触及地面。

这个图是循环的。它是一个精心构建的相互确认网络,其中一切一致,但没有任何东西被验证。它将完全像单一循环一样失败,只是更晚、更昂贵、并且在下降过程中有更多的绿灯。拓扑带来了复杂性。它没有带来与现实的接触。

所以,图需要一些没有边能提供的东西。它需要锚点。

网络中的某些测量必须是那种无可争辩的。实际进入银行账户的收入。实际执行的测试。实际留下的客户。物理计数要么匹配要么不匹配。

某些节点必须被冻结。优化循环永远不允许调整的规则,正是因为这些规则是优化器最倾向于削弱的规则,就像训练循环永远不允许看到预留集一样。

还有一件事必须完全来自图的外部:“更好”在根层次上意味着什么的答案。循环朝着参考点优化。循环图管理和修订这些参考点。但最初的判断——哪些事情值得控制,冻结规则应该放在哪里——不能由机器生成,因为图中的每个循环都已经预设了它。这个判断来自人,通过接触真实失败。最精妙的改进架构是那些足够诚实,能标出自己权威终止之处。

真正重要的轴

一个安全的预测是:循环架构会像单一循环一样成为正统。教程会翻新,“为什么一个指标永远不够”会成为大会演讲的经典,每个严肃系统都会标配配对指标和审计周期,就像现在每个严肃系统都标配版本控制一样。

更深层的预测遵循上述模式。循环图也会失败——以它们自己特有的方式、循环的、一致的、看似合理的——只要它们是在没有锚点的情况下构建的。而讨论将再次转向接下来会出现的东西。

这表明,持久的轴从来不是循环与图之间的对立。

而是无根基与有根基之间的对立。改进机器——无论当前采取什么形状——是否持续触及它声称要改进的现实。

它的数字是否与世界对比,而不是与其他数字对比。它的监控者是否真正独立。它的冻结规则是否在压力下保持冻结。它是否承认它最深层的目标是选择出来的,而非计算出来的。

单一循环是系统学会如何改进的方式。图是它们学会如何改进而不自欺欺人的方式。对“更好”真正意味着什么保持诚实,是一个不同于两者的教训,而且当今天的图看起来像去年的单一线条指标一样过时时,这个教训仍然重要。

支持团队的线条连续五个月上升。每个测量都是准确的。每个流程都按计划运行。循环完美地做了它被建造出来要做的事。

然后客户走了。

你改进机器的形状值得争论。

它是否有一部分仍然触及地面——这才是决定一切的问题。

相似文章