代码代理应被视为受限执行者而非架构权威吗?
摘要
作者认为代码代理应被视为受限执行者而非自主架构师,提出一种模型,其中人类定义不可协商的约束,代理接收范围狭窄的任务,并附带外部状态跟踪。
我独立工作,并使用 ChatGPT 和代码代理来帮助我设计和构建软件系统。随着项目规模变大,我发现主要问题不再是让 AI 生成代码。更困难的问题在于:如何控制代理允许更改的内容、它如何理解架构,以及什么才算完成的工作。这让我得出了一个工作原则:代码代理可以成为能干的执行者,但它不应成为系统的架构权威。从高层次来看,我现在尝试区分几项职责:人类定义系统的意图、架构、边界和不可协商的约束。代理接收的是范围明确的工作单元,而不是对仓库的无限权限。项目状态保持在对话外部,这样新会话无需从记忆中重建系统。代理声称任务完成仅被视为一种主张,而非证据。测试、仓库状态和明确接受用于判断工作是否真正完成。进入下一阶段需要经过深思熟虑的决策,而非代理自行假设。不明确或未经授权的操作应“失败关闭”,而不是被创造性解释。我故意不描述操作实现,因为我仍在评估其背后的推理。我希望获得那些构建或监督过真实代理工作流的人的批评:这是一个合理的治理问题,还是我把编码工作流变成了不必要的官僚主义?一旦代理能够修改文件、执行工具并做出多步决策,哪些控制措施变得必不可少?人类权威应在哪里结束,代理自主权应从哪里开始?这个模型仍然无法防止哪些失败模式?是否已有成熟学科涵盖了这种权威、范围执行、外部状态、验证和明确接受的组合?我不是在推销工具,也不是在寻找关于使用哪个代码代理的建议。我只是想确定这种受控执行模型在技术上是否合理。
相似文章
你的智能体是代码。别再像管理文档一样治理它们。
本文认为,企业中的AI智能体由技能、工具和MCP服务器等代码构件组成,因此应当像管理软件代码一样对其进行治理,而非将其视为文档或审批清单。因为智能体本身不稳定,而底层技能是可复用且稳定的。
关于编码代理的思考 · rakyll.org
作者反思了编码代理,认为其真正价值不在于自主性,而在于缩小意图与执行之间的差距。他指出,编码代理已成为一种通用工具,其组织影响——减少社交开销——将瓶颈从许可转移到了个人行动。
编程代理的胜负不在于提示词,而在于运行时基础设施
随着编程代理能力增强,瓶颈从模型质量转向支持长时间运行的基础设施,包括持久状态、权限、检查点、可观测性和成本控制。作者认为,最好的代理产品更像是运行时和工作流系统,而非仅仅改进提示界面。
编码智能体是否需要类操作系统的控制平面?我构建了一个原型并寻求批评意见。
作者介绍了“KnowledgeOS”,这是一个原型控制平面,旨在通过管理任务生命周期、防止状态漂移和确保执行证据来治理本地编码智能体。他们希望获得关于此类操作系统级抽象是否必要,或者是否属于智能体工作流中过度设计的架构批评。
我认为我们低估了编程智能体实际需要多少控制
本文认为,AI编程智能体需要更明确的控制和规则来防止意外行为,建议在开发中转向减少自由度而非增加。