当AI代理自主执行编码任务时,人类应该处于循环中的哪个位置?
摘要
讨论了在自主AI编码代理工作流中人类审查的最佳位置,考虑了自动化与安全性之间的权衡,特别是针对认证、支付和数据库迁移等风险较高的系统。
​ 我试图理解在AI代理工作流中人类审查的正确位置。想象一个AI编码代理正在一个真实代码库中工作。它可以计划、编辑文件、运行检查、暂存更改,甚至可能准备一个PR。一个简单的循环可能如下:计划 → 编辑 → 暂存 → 检查 → 交接。我的问题是:人类审查者应该放在这个循环的哪个位置?人类是否应该在:计划 → 人类审查 → 编辑 → 暂存 → 检查 → 人类审查?还是人类只在最后进行审查?我特别考虑风险较高的系统,例如:
认证
支付
数据库迁移
安全
CI/CD配置
生产逻辑
如果代理正在与这些系统部分交互,是否每次更改都需要在发生前获得人类许可?还是让代理工作,然后审查以下内容就足够了:
它计划做什么
实际更改了哪些文件
是否偏离了原始意图
运行了哪些测试/检查
我目前的想法是,人类审查不应该在每次微小编辑后进行,因为这会破坏自动化。但人类可能应该在重要关卡进行审查:
1. 编辑之前:批准计划/范围
2. 暂存之后:验证代理是否在计划范围内
3. 合并/部署之前:最终的人类批准
我很好奇有经验的开发者对此有何看法。对于自主AI编码代理,人类介入实际应该放在哪个位置,为什么?
相似文章
AI编码代理的信任检查应该在哪里进行?
作者探讨了AI编码代理工作流中信任检查应置于何处的关键问题——是在编码前、编码中、PR提交前还是审查期间——并邀请开发者分享他们在实际使用Claude Code、Codex和Cursor等工具时,信任在哪个环节出现破裂。
@techwith_ram: https://x.com/techwith_ram/status/2064925285003542820
探讨了AI编程中从人类在环到自主代理循环的转变,其中代理自我提示并迭代,讨论了减少人类控制的前景与隐藏成本。
AI编码代理的护栏到底该放在哪里?
关于在何处设置护栏以防止AI编码代理进行未经授权的更改的讨论,探讨部署工作流各个阶段的摩擦点。
AI正在吞噬AI工程循环(5分钟阅读)
文章讨论了AI工程循环如何能够完全自动化,但认为将整个循环交给AI会产生'agent slop'(智能体垃圾),因为评估不完善。它建议自动执行某些步骤,同时保留人类判断以处理细微差别。
人在回路中正沦为企业作秀。
Anthropic 警告称,随着 AI 生成代码的速度超过人类审查速度,人工审查正成为瓶颈,这引发了对自主性和安全性的担忧。