Why The Harness Matters More Than The Model | YC Paper Club

**为什么 Harness（框架）比模型更重要 | YC 论文俱乐部** **TL;DR：** 本文探讨了 AI 领域中被低估的“Harness”（即提示工程、上下文工程和代理框架）的重要性，通过回顾其发展历史（从简单循环到自我改进系统），展示了仅通过改进 Harness 如何能大幅提升模型性能，并介绍了自我改进型 Harness 的前沿探索。 --- ### **Harness：被低估的“脚手架”** Harness 本质上是一种包装器（wrapper）、脚手架或提示工程。长期以来，它被视为“次优研究”。然而，仅仅从 Harness 1 到 Harness 2 的改进就能带来 18% 的性能提升，这直接决定了像 ArcGI 这样的项目能否成功。 一条一个月前的经典评论认为提示工程不属于顶级机器学习研究，但实践表明，Harness 的演进是 AI 代理性能提升的关键驱动力。这引出了“静态 Harness 时代”（Harness 本身不改进）与最近六个月兴起的“自我改进型 Harness 时代”的划分。 ### **从困惑度到测试时经验** 当前，AI 发展的一个矛盾在于：我们不断推动模型的内在智能（类似于“困惑度”或“IQ”），但未能充分利用模型在测试时生成的“经验”来快速适应新分布。传统的上下文学习（ICL）在约50个示例后就会饱和，之后需要切换到 LoRA、微调等更复杂的流程。Harness 正是弥合这一差距、实现快速适应的关键。 以 ArcGI 基准测试为例：Claude Opus 在一个严格的私有测试集上通过率仅为 30%，但仅通过一些“不值得研究”的 Harness（包装器和脚手架），就能将性能提升至 95%，而 Nvidia 的 AVO 甚至达到了 100%。 ### **实践案例：自动化研究代理集群** 作者以一个实际案例展示了自我改进型 Harness 的强大。其核心是设定一个目标：探究扩散语言模型是否能通过集成和分片聚合超越自回归模型。 工作流程如下： 1. **设定目标与种子思路**。 2. **范围界定代理** 查找相关论文和代码库。 3. **PI 代理** 负责推进。 4. **研究代理** 执行研究，遇到困难时向顾问组（包括人类）寻求反馈并修改。 5. **作者代理** 撰写论文。 整个过程通过一个“驾驶舱”界面实现远程监控和交互。Harness 的脚手架层使得作者只需提出六个不同的想法，分配给八个 H100 节点，然后让其自主运行，定期检查生成的论文即可。 ### **Harness 演进简史** Harness 的发展历程可以概括为在“静态 Harness”基础上不断丰富功能。 - **V0 (2019)**: 以 GPT-2 为起点，仅是简单的“非终止序列循环”，包含 Top-P 采样和环境交互，没有工具调用或技能学习。 - **上下文与动作空间的丰富**: - **Few-shot Learning**: 在上下文中提供示例。 - **思维链**: 将预测分散到多个 token 上，引导模型逐步推理。 - **工具调用**: 如 Toolformer 和 WebGPT，赋予模型调用外部工具（API）的能力。 - **上下文读写**: 如 MegPT，允许模型对自身上下文进行增删改查。 - **技能学习**: 如 Voyager，将组合工具完成任务的经验提炼为可复用的技能（通常存储为 `skills.md`）。 - **代码生成作为即时工具**: 如 Intercode，直接输出代码来创建工具。 - **协作与反思**: - **React, Self-Refine, Reflection**: 引入多代理概念，让不同角色的代理协同改进上下文，通过评估、反思循环修正输出。 - **子代理与递归**: 工具可以是一组子代理，如 RLM 允许递归调用，最终由主编排代理统一管理。 ### **Harness V1：静态框架** 静态 Harness V1 的结构包括： 1. **代理规范**：定义系统提示、允许的轮次和工具调用次数。 2. **工具列表、技能列表、子代理列表**。 3. **一个执行循环**：该循环可由提示（如 Slack 消息）或定时任务触发，包含会话管理、上下文编译、模型调用、工具执行和上下文更新等步骤。 ### **迈向自我改进型 Harness** 最激动人心的方向是让 Harness 本身进行学习。 - **DSPY**: 通过训练集学习最优的系统提示，使用遗传编程等方法迭代优化。 - **Darwin Machines**: 允许改进运行中的 Harness 代码本身。可以设想一个存档库，存储着不同的代理（Harness + 系统提示），通过采样、评估适应度（fitness function）和更新来实现进化。 - **自修改（Self-Modify）与元 Harness**: 存在一个“元 Harness”，允许代理修改自身的 Harness，从而演变为不同的版本。这个循环最终旨在获得更优的代理。元 Harness 的核心功能正是生成新的 Harness。 --- Source: [Why The Harness Matters More Than The Model | YC Paper Club](https://www.youtube.com/watch?v=n9xKblqyQ28)