智能体获救了,修复去向何处?

Reddit r/AI_Agents 工具

摘要

本文讨论了如何通过一个结构化流程将针对AI智能体的手动修复纳入未来的改进,以Reef的harness教程为例,该流程包括记录纠正、测试更改和发布版本。

智能体卡住了,有人手动修复了它,任务完成了。接下来值得修复的部分是这个纠正去向何处。如果它只留在某人的脑海里,下一次运行会得到同一个带有相同盲点的智能体。Reef的harness教程为这种反馈提供了一条回路:记录请求,在其收据上附加评分和纠正,让模型提出技能更改,然后在相同的任务上测试当前和更改后的harness,再发布版本。这仍然需要你定义一个好修复对你的工作流意味着什么,并实际安装所选版本。但人工干预可以成为下一次更改的输入,而不是在工单关闭时消失。如今你的手动修复最终去了哪里:一个运行日志、一个提示编辑,还是下一个版本真正测试的东西?
查看原文

相似文章

如何提高AI代理的可靠性?

Reddit r/AI_Agents

讨论将AI代理从沙箱迁移到生产环境所面临的挑战,强调高敏感性导致大量噪声,并提出解决方案,如二级评估器、启发式方法和级联架构。同时向社区询问他们的过滤方法。