我的AI报告生成器Agent演示起来像魔法,90%的实际代码都是为了应对它自信地编造

Reddit r/AI_Agents 新闻

摘要

一位从业者诚实地剖析了构建 AI 报告生成 Agent 的过程,说明 90% 的代码都是用来处理模型安静且自信的失败,并确保生产环境中的可靠性。

我靠构建 Agent 为生,演示版和你能让它长期运行之间的差距仍然让很多人惊讶,所以这里做一个诚实的拆解。我构建了一个 Agent,它从几个系统拉取数据并撰写总结报告。在演示中,它看起来就像魔法。你提问,它思考,然后一份干净的报告就出来了。所有人都印象深刻。这部分可能只占代码的十分之一。另外百分之九十的存在只有一个原因:模型会安静且自信地失败。它会编造一个和真实数字一样合理的数字。它会总结一个只读了一半的表格。它会调用某个工具,遇到速率限制,然后高高兴兴地写报告,仿佛数据已经成功返回了。所以我真正写的代码大部分并不是“Agent”本身,而是:对每次工具调用进行带退避的重试,因为一半的故障都是瞬时的,而模型对此毫无察觉。输出检查,如果必填字段缺失,或者某个数字无法与源数据对账,就在任何人看到之前拒绝该响应。一条硬性规则:如果数据源没有返回,Agent 要说“我拿不到 X”,而不是猜。让它承认这个缺口而不是掩盖它,这占了我大部分工作。记录每一个决策,这样当它真的出错时,我能追踪是哪一步在撒谎。演示卖的是那 10%。而那 90% 决定了客户是在第二个月信任它,还是悄悄把它关掉。而且 90% 的部分看起来一点都不可炫酷,这正是那些光鲜的帖子从不展示它的原因。对于在生产环境中运行 Agent 的人来说:你们的 Agent 在哪里安静地失败?最终是什么检查逮住了它?感觉每个人都是通过惨痛教训才重新发现输出验证的重要性。
查看原文

相似文章