编程智能体的“测试通过”消息,仍然只是一条消息

Reddit r/AI_Agents 工具

摘要

微软的 Agensh 仓库提供了一个共享笔记板,供编程智能体协调工作,但它只存储上报的验证结果,而不会自行运行检查,因此“测试已通过”的说法并不能作为证据。这篇文章强调了多智能体工作流程中协调工作与验证工作之间的区别。

微软的 Agensh 仓库有一个供编程智能体使用的共享笔记板。有一点值得分享:这个笔记板存储的是上报的验证结果,但它本身并不执行这些检查。当一个智能体要判断是否信任另一个智能体的工作进展时,这一点很重要。笔记板的 README 描述了几个有用的机制:• 笔记分为以下类型:FACT、OBSERVED、FAIL、CLAIM 和 PATCH_SUMMARY。• 大多数笔记最多为 100 个字符;补丁摘要最多为 300 个字符。更完整的细节可以单独获取。• 默认情况下,任务认领记录在一小时后就不会再出现在实时读取结果中,因此被放弃的认领不会一直保持有效。• 匹配的 FAIL 会使该作者最新的候选补丁失效。• 新的补丁摘要会替换同一作者针对同一工作标签提交的旧摘要。但这些机制都不能保证上报的结果属实。该服务检查的是提交的文本,而不是验证命令是否确实执行成功。关键在于区分协调工作与验证工作。共享笔记板可以告诉智能体,其他智能体尝试了什么、声称了什么或上报了什么。在将补丁视为就绪之前,工作流程仍然需要一种检查结果本身的方法。
查看原文

相似文章

你如何验证你的智能体确实做了它声称做过的事?

Reddit r/AI_Agents

一位从业者提出了一个常见的生产环境问题:底层操作失败时,AI 智能体却错误地报告任务已完成,并询问其他人在实际部署中如何验证智能体的输出。作者正在研究这一问题,并计划分享社区回答的汇总。