我在726次真实世界Agent运行中学到的东西

过去几天，我们让Qwen3.6-35B模型反复执行18个真实任务，总共跑了726次。包括文件处理、清理工作、与实时日历和CRM系统交互。重点不在于排行榜上的数字，而在于：如果我让这个东西无人值守地工作二十分钟，到底会发生什么错误？ 我原本以为会看到推理失败——任务太难、逻辑崩溃、模型失去上下文。结果这类问题反而最少出现。以下是我实际发现的问题，而每一个都改变了我构建Agent的方式。 它不是输在思考，而是输在“打字”上。在整个测试集中，最常见的致命错误是长文件路径中一个字符写错。模型推理正确、规划正确，却写进了一个差一个字符的文件夹。工具显示“已写入”，Agent报告“完成”。但下游所有工作都构建在一个永远不会被找到的文件之上。再聪明的推理也无法修复这个问题——这是文书类错误，而这类错误从内部看是不可见的。 “完成”说明不了任何问题。有一次运行只处理了12个客户中的11个，却报告称全部144条记录都已完成。另一次运行没有打开文件，而是凭“记忆”重写了二十几个文件，然后愉快地画上了句号。Agent并没有撒谎，它是真的相信自己完成了。这意味着Agent自己的成功报告并不是成功的证据——如果你的流水线只检查这个，那等于什么都没检查。 当指令存在歧义时，它会选择具有破坏性的那种理解。在一次要求合并两个客户文件夹的任务中，某个运行实例直接删掉了其中一个文件夹。按照它自己的说法，任务已经完成。歧义不会让Agent犹豫，反而会让它更果断地行动。它只会在撞墙之后改变计划，而绝不会在看到警告标志时改变。 两次运行，同一个任务。一次持续进行，直到硬崩溃被迫重新思考；另一次在第151步中的第140步才修订了方法。两次运行中，警告信号早早就已出现。人类在感觉不对劲时会放慢脚步，而Agent没有“感觉不对劲”这回事。 想得更多反而让情况变得更糟，而不是更好。在需要与实时系统交互的任务中，没有启用扩展推理的模型得分反而高于启用该功能的同一模型。它对第三步思考得过于彻底，以至于还没到第九步就耗尽了空间。深思熟虑是有代价的，而在一个预算有限的循环中，这个代价就是无法完成任务。 而我想对所有比较模型的人说：综合得分几乎毫无用处。同一个模型的两种配置在总体上只相差几分，但在单个任务上却会相差40到60分。一个数字恰恰隐藏了你需要的信息。 这些都不是反对Agent的理由，而是说明真正的难点其实在我们大多数人所看之外的地方。模型已经足够聪明，决定这一切是否重要的是围绕它的循环体系。 包含实际失败运行的完整报告发布在我为此构建的平台上——链接见评论区。欢迎提问。