构建自进化代理时我做的3个不同选择——以及每个的实际成本
摘要
作者分享了构建开源自进化代理的三个关键设计选择:带适应度信号的限门自进化、针对提示注入的安全架构、以及带置信区间的诚实基准测试。该代理采用Apache-2.0许可,仍处于alpha阶段。
构建一个开源代理,以下是我押注的3个不同寻常的ReAct循环方案:
1. 带适应度信号的自进化。大多数“学习”代理只是记录发生的一切。我的代理仅在验证结果加上诚实A/B测试证明它能提升通过率时,才保留学习到的变更——基于实际工作树差异进行限门,绝不依赖模型的自我报告。成本:你需要一个评分器,并且接受更少、更慢的“学习”。
2. 通过架构实现安全,而非依赖提示乞求。提示注入被视为在提示层无法修复,因此采用:端到端污点追踪(受污染运行中产生的记忆/技能不会自动晋升)、一个隔离读取器,将不可信内容转化为经过模式验证的字段后再由特权代理查看,以及一个在污染状态下收窄的工具白名单。实测红队攻击成功率为从100%降至约14%(并非“安全”——只是一个数字)。成本:一些合法内容会被过度限制。
3. 诚实的基准测试。我发布置信区间和仍然失败的案例,不重新运行以制造统计显著性。成本:数字看起来不如精心挑选的演示那么亮眼。推理核心是一个融合面板(面板→评判→合成),位于成本感知路由器之后。Apache-2.0,仍处于alpha阶段。仓库链接在评论中——欢迎对安全声明进行压力测试。
相似文章
@qinzytech: https://x.com/qinzytech/status/2066585405479371092
对构建自我进化AI代理的两种方法的技术分析:基于模型的方法(通过像SSMs或具有快速权重更新的transformer等架构,以及训练方法)和基于工具的方法(通过内存或能够自我重写的元工具)。作者为不同受众提供了实用建议。
EvoMap/evolver
Evolver 是一个由 GEP 驱动的 AI 代理自演化引擎,可自动化提示词优化并创建可审计、可复用的演化资产。该项目正从完全开源过渡到源代码可用,同时保持与现有 MIT 和 GPL-3.0 版本的向后兼容性。
AI智能体何时应该(以及不应该)自我演进的框架
文章认为,AI智能体的自我演进应谨慎应用,并提出了一种演进监管器(Evolution Governor),该监管器审计工作流以决定是否演进,依据条件如可重复任务和外部反馈。
自我进化智能体分类法(15分钟阅读)
Shilong Liu 提出了一种分类法,将自我进化智能体分为产物优化、框架自我改进和模型学习三类,为新兴智能体研究提供了通用语言。
具有随时有效证书的自演化代理
本文介绍了SEA,一种用于自演化代理的架构,它将自我修改限制在转向适配器和围绕冻结基础模型的版本化框架上,并使用随时有效门(anytime-valid gates)来根据固定错误预算审计修改。在SWE-bench Verified上使用四个基础模型进行的实验表明,该套件在强基础模型上提供了+4%到+5%的提升,同时防止了性能回退。