我停止信任我的编程代理的通过测试。构建了一个控制循环来让它证明自己的工作。

Reddit r/AI_Agents 工具
coding-agents verification control-loop developer-tools ai-trust workflow

摘要

作者介绍了一种验证驱动的控制循环，用于编程代理，受核工业安全实践启发，确保代理在变更被接受之前证明其工作。

这适用于任何运行实际编辑文件、执行命令和调用工具的代理的人。这个想法借鉴了核设施的运行方式：一个控制循环，在没有验证之前，任何重要的事情都不会被接受。26项技能受我所工作的核工业启发。工作流程。流程是：提问、明确、执行、验证、决定、基线化、操作、学习。少一些“信任代理”，多一些“让它在发布前证明重要的声明”。这还处于早期阶段，我想知道它哪里错了或过度构建。你会削减什么？
查看原文

相似文章

我构建了一个不仅能完成任务，还能自我改进管道的智能体

Reddit r/AI_Agents

作者构建了一个自主智能体，不仅能完成任务，还能通过观察结果、通过拉取请求进行更改，并使用账本验证每个更改来改进自身的代码和产品。关键洞察在于，一个严格的验证步骤——得出确认、拒绝或不确定的结论——对于系统真正学习至关重要。

如何判断AI编码代理真正完成了？

Reddit r/AI_Agents

作者创建了OpenPitStop，一个独立检查和验证AI编码代理工作的开源工具，并在一个损坏的应用程序上进行了演示，同时邀请讨论如何信任AI的更改。