AI智能体何时应该（以及不应该）自我演进的框架

我构建智能体系统已有一段时间，但有一件事一直困扰着我。所有人都把“自我演进智能体”说得好像是理所当然的终极目标，但在实践中，它通常只会让智能体变得更糟。所以我写下了我反复回归的逻辑。核心观点是：自我演进并非普遍适用。只有当智能体重复执行相同类型的工作、获得无法伪造的外部反馈、并且只更新一个小的受限范围时，它才值得采用。而当智能体是一个在无关任务间切换的通才、反馈薄弱、或者将每一次交互都塞进一个巨大的全局记忆时，自我演进就会适得其反。最后一点是真正的杀手。你得到的不是一个更明智的助手，而是听起来很自信但实则上下文污染的结果。 设计核心是我所说的“演进监管器”（Evolution Governor）。智能体不会悄悄地重写自己，而是由监管器首先审计工作流，并返回四种判决之一：EVOLVE、CONSTRAIN、DO_NOT_EVOLVE 或 HUMAN_REVIEW。只有当以下五个条件全部成立时，智能体才能获得 EVOLVE 判决： - 工作流重复的频率足够高，使学习真正物有所值； - 存在难以伪造的外部反馈，而不是模型给自己的作业打分； - 被修改的内容是受限的（技能、记忆模式、提示词、路由规则、测试）； - 每次修改都有日志记录、可回滚，并针对留存任务进行验证； - 记忆属于某个领域、项目或账户，而不是某个无界限的个人身份。 实际有效的场景：一个专攻特定网站的浏览器智能体、一个操作单一社交平台的账户运营智能体、一个学习个人风格的幻灯片智能体、一个管道修复机器人、一个拥有真实测试的代码库维护智能体。 失效的场景：通用生活助手、一次性创意工作、任何法律/医疗/金融相关任务、没有可靠评估者的任务，以及可能在不同租户之间泄露记忆的跨客户工作。 关于交易智能体还有一个单独的部分，因为“赚更多钱”是地球上最容易作弊的目标。单纯回报只会奖励杠杆和幸运的回测。论点认为，适应度应该是一个生存包：风险调整后的回报，减去回撤和破产风险，减去周转率、过拟合和杠杆惩罚，再加上体制鲁棒性，以及知道何时完全不做交易的能力。 本文借鉴了 Reflexion、Voyager、AlphaEvolve、关于LLM在没有外部反馈时无法自我修正的论文，以及《AI安全中的具体问题》。