Autoresearch：自我完善智能体背后的反馈循环（11分钟阅读）

# 自动研究：自我改进智能体背后的反馈循环 来源：https://www.latent.space/p/autoresearch-introspection [](https://substackcdn.com/image/fetch/$s_!p4Th!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fe316b2cb-4200-4a71-bdcc-c398467b53ef_1280x720.jpeg)Introspection 的 Roland Gavrilescu 在 AIEWF 现场。 本周在 AI Engineer World's Fair 上，我们听到了很多关于循环（loop）的讨论。另一个流行词是**自动研究（autoresearch）**，它涉及构建一个“外循环”，智能体通过反馈信号、评估和人工输入来帮助维护和改进主系统，从而随时间推移取得进展。 至少，这是 Introspection 联合创始人兼 CEO Roland Gavrilescu (https://x.com/rolandgvc) 的框架。这是一家为部署这些自我改进系统而构建基础设施的新公司。在创办公司之前，Gavrilescu 在 xAI 从事智能体基础设施和云智能体工作，并在那里结识了他的联合创始人 Julian Bright (https://www.linkedin.com/in/julianbright/)。 在他今天于 AI Engineer World's Fair 上发表的“实战中的自动研究”演讲之前，我与 Gavrilescu 讨论了从智能体支架到反馈循环的转变、开源 Pi 框架的作用，以及为什么自主软件工厂必须首先向人类学习。 **潜在空间：** 你的新公司 Introspection 是如何诞生的？ **Roland Gavrilescu：** 去年我在 xAI，遇到了我的联合创始人。我们当时在从事智能体基础设施和云智能体工作，觉得有一种新的智能体形态需要进一步探索。xAI 不一定是我们能完全专注于这方面的地方。 我们决定离开，并思考如果围绕这种新形态来设计一家公司会是什么样子。我们感兴趣的是，是什么让 Cursor 和 Cognition 这样的公司取得成功，以及如何将这些想法中的一部分转化为他人可以使用的产品。 这成为了 Introspection 的基础。 自动研究让你能够构建循环，其中智能体帮助维护系统本身。挑战在于设计正确的信号和反馈机制，以便智能体能够改进系统、做出架构决策并朝着正确方向前进，而不会不断被人类拖慢。 **潜在空间：** 你的演讲题为“实战中的自动研究”——会涵盖哪些内容？ **Gavrilescu：** 我们已经听到了很多关于自动研究如何改进实验的内容，但我们想讨论的是这些循环在生产中是什么样的。 我们提出了三种模式，我们认为它们构成了新蓝图的基础。 第一种是**循环即产品**。我们已经从关注模型，到关注支架，现在关注循环。关键问题是，你是否能定义正确的反馈机制，以便智能体能够承担更多工作，而不会产生更多垃圾。 第二种模式涉及循环生成什么以及如何随时间追踪它。我们提出了一个概念，称为智能体**配方（recipe）**。 我们从智能体工具转向了智能体技能。配方是一个更大的容器，它将编码人类专业知识所需的组件汇集在一起：评估、裁判、信号处理以及反馈到循环中的信息。 目标是创建一个可移植的格式，智能体可以在上面迭代，几乎就像一个研究实验室，但以提供商无关的方式。 第三种模式是关于我们优化什么。系统如何随时间变得更好且更便宜？ 像 Cursor 和 Cognition 这样的公司已经证明这些产品可以奏效。下一个阶段是让它们更易获取、更快、更便宜，并逐步将前沿模型的能力提炼为你拥有且为你环境定制的系统。 **潜在空间：** 你能更详细地解释一下智能体配方是什么吗…… **Gavrilescu：** 这就像描述你需要的配料以及它们如何演变。 这个想法部分来源于模型后训练中使用的数据配方。数据配方描述了来自不同领域的数据应多少被融入模型。 智能体配方类似。一个配方可能描述你的支架如何与不同的模型配合、你使用的评估、你创建的裁判、你捕捉到的人类专业知识以及导致新评估的失败。 想象一下，明天你突然获得了 Devin 的代码库。如果你看不到团队是如何到达当前版本的，单靠代码本身不一定有多大帮助。你会想了解那些影响它的失败、错误和决策。 配方捕捉了这个过程。你从一个基线开始，然后记录每个信号如何产生一个新的裁判、嵌入新的人类专业知识或引导你引入一个不同的模型。 **潜在空间：** 自动研究是指编排多个智能体，还是涉及一个智能体重复工作并验证其结果？ **Gavrilescu：** 你可以将系统视为具有内循环和外循环。 内循环是与用户交互并执行工作的主系统。自动研究更关注外循环：另一个研究并维护主系统的系统。 问题在于如何设计这个外循环，以便它能在正确的问题上取得进展，同时不会在决定做什么时消耗不合理数量的 token。 **潜在空间：** 你曾将 Pi 比作 Linux。在这个类比中，Introspection 是否类似于 Red Hat？ **Gavrilescu：** Pi 就像是智能体支架中的 Linux。Linux 有像 Ubuntu 这样的发行版，但底层系统旨在被扩展。Pi 类似：它从未打算作为未修改的 vanilla 产品运行。Pi 将智能体循环与其扩展和配置分离，这使得智能体可移植。你可以通过加载不同的文件到运行时来启动几个不同的智能体。 我们看到了一个机会，可以将这种可扩展性与配方和开源构建模块结合起来，这些模块可以为每个客户进化，同时保持可移植性和易于部署。 **潜在空间：** 可靠性和智能体循环的混乱现实一直是会议中反复出现的主题。Introspection 如何解决这些问题？ **Gavrilescu：** 产品设计是围绕你准备进入生产阶段的那个点。 你需要知道需要什么基础设施来使循环工作、控制成本并保持安全性。托管基础设施涵盖了这些系统在生产中运行所需的内容。 我们重点的一部分是将前沿 AI 实验室内部可用的基础设施带入其他公司可以部署的产品中。 **潜在空间：** 那循环中的人类呢？ **Gavrilescu：** 这些循环设计时包含了人类在循环中，因为你需要系统取得进展时的正确信号。 人类可以有效地成为一个工具和信号来源。智能体可以被训练通过“询问人类”工具向人提问。 在最初的几个循环中，一个智能体可能会严重依赖提问和学习人类会做什么。随着时间的推移，它积累这些偏好，并可以变得越来越自主。 这类似于一个新员工加入一家公司。最初，那个员工问很多问题。随着他们了解组织如何运作，他们可以更独立地做出决定。 **潜在空间：** 那么你看到哪些类型的用例？ **Gavrilescu：** 我们专注于垂直智能体。 编码智能体显然在起作用，我们已经看到许多公司在这个领域取得成功。下一个问题是如何在垂直和非编码领域部署智能体。 这些市场的公司正在问，他们如何安全地做到这一点，而不会依赖于单一提供商。他们希望部署属于自己的，他们希望保留对自己数据的所有权，并且不想被锁定在 OpenAI 或 Anthropic。Introspection 旨在使用开源构建模块提供满足这些要求的基础设施。 前沿 AI 实验室已经开发了复杂的内部智能体技术。我们希望将类似的能力带入垂直 SaaS 和服务业务。 **潜在空间：** Introspection 主要面向开发者，还是产品经理和其他业务用户也会使用它？ **Gavrilescu：** 我们最初专注于垂直 SaaS 公司的软件工程师。 我们希望环境对智能体友好，这意味着智能体可以在他们自己的仓库和代码库中工作。一切都是基于 Git 的，Git 成为你随时间维护的审计日志。 未来，会有使产品经理和其他人能够参与的界面。但我们已经看到产品经理越来越接近代码。 我们认为正确的初始形态是人到智能体的界面，实际工作及其历史存在于 Git 中。 **潜在空间：** Introspection 是否符合软件工厂的更大概念？ **Gavrilescu：** 是的。设计循环本质上就是设计工厂。剩下的问题是工厂应该拥有多少自主权。 也有人讨论过“乐团，而不是工厂”。这种区别实际上在于自主权的水平。 一个乐团可能会保留一位人类指挥，他控制着循环如何运作。工厂则意味着更完全自主的东西。 但你应该朝着工厂去构建，而不是假设你从一开始就能创建一个完全自主的工厂。模型最初并不拥有所有上下文，也不理解组织内部人们做出的每一个决策。你不能简单地将所有知识都捕捉到一个 Markdown 文件中。 正确的方法是将人类设计为工厂的核心组成部分。早期系统应该随着时间的推移从人们那里提取隐性知识和工作流程，而不是试图立即自动化一切。 **潜在空间：** 对于那些想尝试自动研究的工程师，你有什么建议？ **Gavrilescu：** 第一步是投资于你的信号。你实际希望智能体响应的是什么？ 产品反馈就是一个很好的例子。并非所有反馈都具有相同的价值，你也不能响应每一个单独的数据点。你需要一个机制来过滤信号并识别哪些应该让智能体采取行动。 第二个要求是控制成本。你不想因为智能体运行了一个低效的循环而醒来面对一张意外的千美元账单。 第三是跟随研究。看看模型被训练使用的支架类型，并保持贴近那些模式。研究实验室如何使用数据配方，并考虑如何将这些想法应用于你自己的产品。 更广泛的目标是将你的产品组织转变为一个微型研究实验室，智能体充当微型研究员。