整天运行智能体，我发现瓶颈始终在于我如何定义“好”，而非模型本身

我一直在实际工作中运行智能体。编码智能体在循环中运行，内容提取，还有一些内部任务持续运转。同样的模式反复出现，所以我想把这个现象分享给真正在实践中的人，而非只是理论探讨的人。实际中的循环是这样的：我设定一个目标和标准。智能体运行，对照标准检查自己的输出，继续执行直到达到标准或耗尽我给定的令牌预算。计划、行动、检查、重复。当它有效时，效果确实不错。当它无效时，几乎每次回溯，失败的原因都不是模型迟钝，而是我。我没有足够精确地定义“完成”的含义，以至于循环不知道何时达成了目标。这就是我不断卡住的地方。一个自检循环的好坏取决于它所对照的标准。如果标准是“让这个更好”，智能体会愉快地判断已经更好并停止。如果标准具体且可检验，它就会一直工作直到真正达成或预算耗尽。因此，稀缺的技能不再是提示技巧或选择正确的框架，而是能够足够精确地描述“好”的样子，使得循环可以在没有我干预的情况下自我评估。目前有一种模型将AI原生公司分为三个层次：人类负责策略和品味，智能体负责执行，中间有一个共享的上下文层，双方都可以读写。我大体上认同。但在日常运行中，对我来说这个分层就不成立了。“上下文层”并非独立的层级，它只是媒介。实际的工作只有一件事：人类清晰传达标准，使执行层能够无人监督地运行。这里让我感到不安的是：知道何时介入、何时放手，毫无歧义地沟通标准，保持一致性以免智能体追逐移动目标——这些技能并非新的智能体学科，而是管理人员的相同技能。同样的工作。我并非在编排智能体，更像是在管理一个快速、不知疲倦、字面理解、对我真实意图毫无直觉的工人。所以真正的问题是——我觉得我还没有完全搞明白：“AI原生”是否主要就是把得当的管理方法应用于智能体？如果是，那有点令人沮丧，因为我们大多数人本来就没那么擅长管理版本。而循环只是让问题暴露得更快。一个模糊的指令给人类，会带来几天的偏差才被人注意。一个模糊的指令给智能体，午饭时间就能出现同样的偏差，而且会重复，直到预算耗尽。或者，也许我的理解有误，智能体版本中确实存在一些无法回溯到管理人员管理的新东西。这就是我无法确定的部分。对于在实际工作中运行智能体（而非演示）的人们：这个类比在哪些地方对你们失效了？困难技能是精确定义“好”，还是完全在其他方面？仍处于早期阶段，还在摸索中，所以我更愿意听我错在哪里，而不是获得赞同。