AI 能自动化 Epoch 吗？（20 分钟阅读）

# AI 能自动化 Epoch 的工作吗？ 来源：https://epoch.ai/publications/can-ai-automate-epoch 我们让六个模型执行了来自 Epoch 的真实工作任务，包括图形生成和研究设计，以测试它们距离自动化我们的工作还有多远。虽然 Claude Fable 5.1 和 GPT-6 Astra 等前沿模型在定义明确的任务上表现可靠，但它们在那些阻止完全自动化的开放式任务中仍然会失败。 **Epoch 自动化报告**（https://epoch.ai/benchmarks/epoch-automation-reports）记录了这些不足之处。我们从 Epoch 的实际工作中精选了一套多样化的任务集，为模型提供必要的上下文，使用最高可用的推理设置，让它们在没有进一步干预的情况下尝试完成任务。然后，我们根据员工标准手动对输出进行评分。 这些评估旨在捕捉典型基准测试的盲区——这些基准测试集中在易于验证的任务上，只能代表真实工作的一部分。如果模型被专门优化以在这些基准上取得高分，那么现有基准测试还可能高估进展。 通过结合基准测试的系统性方法和在真实工作上测试模型带来的整体印象，我们揭示了现有基准测试所遗漏的能力差距，并为 AI 采用的更广泛问题提供参考。 关键发现： - **虽然 Fable 5.1 和 GPT-6 Astra 总体领先，但它们仍不足以自动化我们的工作。** 开源模型落后更多，即使在前沿模型能够可靠处理的定义明确的任务上也表现挣扎。 - **模型难以掌握 Epoch 的标准，即使提供了充足的参考资料。** 它们遗漏了人类能够捕捉到的隐性惯例，比如我们的视觉风格或我们的受众关心的主题类型，或者产出的信息密度高于我们的典型作品。 - **模型能够识别有前景的研究方向，但缺乏成功跟进的判断力。** 它们难以设计出能够真正测量其声称内容的实验，并且常常将有缺陷的结果当作关键发现。 - 虽然几项任务涉及在广阔创意空间中进行开放式探索，但**模型往往趋同于相似的想法。** ## 方法 ### 任务 我们的任务集基于 Epoch 内部的工作内容。截至发布时，这包括五个不同类别中的 11 项任务。 **平面设计。** 创建一个 Epoch 风格的图形，说明给定的描述。 任务： - 根据对普遍基本提案的描述和草图，创建一个 Epoch 风格的图表。 - 创建一个 Epoch 风格的图形，说明在固定 token 预算下模型进展可能被低估的情况。 - 创建一个 Epoch 风格的概念图：平价点——人类比 AI 更具成本效益的那个点。 **数据洞察生成。** 根据给定的方向，创建一个 Epoch 风格的[数据洞察](https://epoch.ai/data-insights)。 数据洞察是我们定期发布的短篇文章，将复杂的 AI 趋势拆解为聚焦的快照。 任务： - 使用 Epoch 2026 年 7 月的民意调查数据，创建一个 Epoch 风格的数据洞察。 - 创建一个 Epoch 风格的数据洞察，主题为物理学研究中的 AI 使用情况，数据来自 arXiv。 - 使用任意数据源，创建一个 Epoch 风格的数据洞察。 **数据浏览器生成。** 根据给定的方向，创建一个 Epoch 风格的[数据浏览器](https://epoch.ai/data)。 数据浏览器展示了追踪 AI 历史和当代进展的关键数据集，设计上方便浏览者轻松浏览和理解数据。 任务： - 创建一个 Epoch 数据浏览器，展示美联储褐皮书中 AI 提及情况随时间的变化，给定网站代码库和需包含的特定功能。 - 创建一个 Epoch 数据浏览器，展示美联储褐皮书中 AI 提及情况随时间的变化，给定网站代码库。 **AI 数据中心研究。** 研究并分析一个给定的 AI 数据中心，将其添加到 Epoch 的 [AI 数据中心](https://epoch.ai/data/ai-data-centers)数据库中，给定详细指南。 任务： - EcoDataCenter 1 - Tesla Cortex 1 **研究设计。** 提出一个新颖的研究项目并运行试点实验，为后续实验做准备。 任务： - 基于 Epoch 的"基准测试可以帮助回答的 9 个大问题（https://epoch.ai/gradient-updates/9-big-questions-benchmarks-can-help-answer）"提出一个研究项目并运行试点实验。 ### 设置 我们在现成的系统上以最高推理设置测试模型： | 模型 | 工具链 | 推理力度 | |------|--------|----------| | GPT-6 Astra | Codex | Ultra | | Claude Fable 5.1 | Claude Code | Ultracode | | Grok 4.6 | Grok Build | xhigh | | Gemini 3.8 Flash | Antigravity | High | | Kimi K3 | Kimi Code | Max | | Qwen 3.8 Max | Qwen Code | Max | 对于每项任务，我们为模型提供相关资源以及在其自己的工作空间和 Google 账户内的完整权限。例如，在平面设计任务中，我们为模型提供 Figma 集成以及包含尽可能多相关信息（之前的设计、可复用组件、设计指南）的 Figma 文件。总体上，我们遵循的原则是为模型提供与给新员工一样多的上下文。 ### 评估 每个任务类别都有一个评分标准（rubric），由具有该任务专业技能的 Epoch 员工共同制定。我们通过对这些任务进行初步的定性评估进一步完善了评分标准，该评估识别出常见的失败模式并将其转化为评估标准。 每个评分标准包含客观和主观标准的混合。例如，数据洞察生成任务包括： - **客观标准：** "图表前和图表后的段落各不超过 150 个单词" - **主观标准：** "标题传达清晰" 每份输出由一名人类评分员进行人工审查和评分。我们目前出于评分效率考虑采用这种方式，未来可能会增加多名评分员。 我们的关键发现来自定性观察，因为我们认为这最能捕捉开放式任务中的差距。这些观察不仅来自模型输出，还来自模型的执行轨迹，这有助于我们理解是什么导致了这些结果。我们结合这些观察使用评分标准来比较模型和追踪进展；然而，这些数字本身并不能捕捉全貌，应当与定性观察一同参考。 ## Fable 5.1 和 GPT-6 Astra 总体并列领先 在我们评估的六个模型中，Fable 5.1 和 GPT-6 Astra 获得了最高的综合分数，并在大多数单个任务类别中也处于领先地位。 横向条形图，展示六个领先模型在五个 Epoch 工作任务类别中的平均表现，显示领先模型尚无法自主完成 Epoch 的工作任务。 它们的领先主要来自在定义明确的任务部分（如编程和计算分析）上的可靠性，其输出始终准确。计算机使用能力也远超我们的预期。今年早些时候，前沿闭源权重模型在[将文章移植到 Substack](https://epoch.ai/gradient-updates/how-close-is-ai-to-taking-my-job) 之类的任务上失败了。当我们使用更新的模型重新尝试时，它们成功了。 我们甚至从任务集中删除了一项平面设计任务，因为 Fable 5.1 产出了 Epoch 质量水平的输出。这项设计任务比其他任务更直接：给定一个 Matplotlib 图表和我们网站的代码库（包含指令和可复用的图表组件），被评估的模型需要重新设置图表样式以匹配 Epoch 的设计风格。我们现在在自己的工作中已经大部分自动化了这一步骤。 即便如此，这些前沿闭源权重模型仍不足以完全自动化我们的工作，因为它们在更开放式的部分存在差距。一个常见的模式是未能掌握 Epoch 的标准，尽管提供了充足的参考资料。这些模型始终遗漏了人类能够捕捉到的隐性惯例，比如我们的视觉风格或我们的受众关心的内容。它们的研究判断力也很弱：难以设计出信息丰富的实验，常常将有缺陷的设置产生的结果作为关键发现呈现。 ## 开源模型在闭源模型可靠的任务上也表现挣扎 开源模型落后更多。它们不仅在任务的开放式部分表现挣扎，在闭源模型能够可靠处理的定义明确的部分也同样如此。 我们可以通过一项数据洞察生成任务看到这一点——模型被要求使用 arXiv 上的物理学论文数据生成数据洞察。Kimi K3 将其整个洞察建立在一个数据过滤错误之上： 由 Kimi K3 在 "arXiv" 任务中产出的不准确折线图，展示 2000 年至 2026 年间提到机器学习与大语言模型的物理学投稿占比，并标注了 2022 年 11 月的 ChatGPT 发布时间。Kimi K3 在 "arXiv" 任务中的输出。 虽然自 ChatGPT 以来，物理学论文中对 AI 的提及有所增加，但增幅远没有图中所示那么剧烈。Kimi K3 在所有 arXiv 论文中计算了这些数字，而不仅仅是物理学论文，并且从未检查其过滤器是否有效。没有任何前沿闭源权重模型在其数据洞察中出现事实性错误。 这些事实性错误也出现在其他任务输出中，例如 Kimi K3 的财富再分配图中，回报流向了资本资产而非个人： 由 Kimi K3 为 "财富再分配" 任务产出的不准确流程图，比较三种再分配方案——全民基本收入、全民基本服务和全民基本资本——展示政府收入如何以现金、免费服务或产生收入的资产形式到达个人。Kimi K3 在 "财富再分配" 任务中的输出。 提示词描述的是个人从资本资产中获得回报，生成的图注也提到了"产生回报的资产"，但视觉呈现并没有遵循这一描述的流向。尽管 Kimi K3 反复处理了图表的这一部分，但它对次要设计细节的执着导致它忽略了这个更大的沟通错误。相比之下，所有前沿闭源权重模型的图形在事实层面都是准确的。 这种能力差距比现有基准分数所暗示的更大。例如，Kimi K3 在 [Epoch 能力指数（ECI）](https://epoch.ai/eci?view=graph&tab=leaderboard)中得分为 158，该指数将多项 AI 基准测试的结果合并为一个通用能力指标。这大致与 Grok 4.6 等闭源权重模型持平，尽管 Kimi K3 在 Grok 4.6 能更可靠处理的基本任务上表现挣扎。像这样的现实开放式任务可能揭示出现有基准测试所遗漏的弱点。 ## 模型无法从示例中学习可泛化的模式 由于我们测试的是端到端完成 Epoch 质量工作的能力，模型能够掌握和理解 Epoch 的标准非常重要。我们提供任务输入的参考资料来促进这一过程。 在以下任务中，我们要求模型生成一个图形，并提供了足够的参考资料来传达 Epoch 简洁的设计风格和通用设计原则。我们提供了指向我们 [Gradient Updates](https://epoch.ai/gradient-updates) 页面的链接，其中包含参考图形，以及我们 Figma 文件的链接，其中包含数月的设计工作、我们的调色板、设计指南、模板和可复用组件。 > 我正在撰写一篇 gradient updates 文章。请创建一个图表来说明以下内容："模型在固定 token 预算下的性能一直在提升，同时其高效利用大 token 预算的能力也在提升。这意味着固定引发（constant elicitation）低估了相对于最大引发（max elicitation）的近期进展。" 之前的 gradient updates 文章可以在这里找到：https://epoch.ai/gradient-updates 这是我们用于图形生成的 Figma 文件（请将其视为只读）：[Figma 链接] 创建图表时请优先考虑平面设计原则。你的最终输出应该是一个 Epoch 化的图表。 "模型性能图表"任务的提示词 名为 "Epoch AI Designs" 的 Figma 设计文件的截图，页面列表包含资源，画布框架分为 "Web graphs"、"Social images" 和 "Data" 部分。Figma 文件截图 核心想法很简单，所以图表也应该很简单。一位 Epoch 设计师用这个简单的图表完成了该任务。 由 Epoch 设计师为"模型性能图表"任务制作的示意性折线图，展示性能与 token 预算的关系，显示较新模型的曲线高于较旧模型的曲线，并标注了在更高 token 预算下有更大的增益。Epoch 设计师在"模型性能图表"任务中的输出 Fable 5.1 则产出了以下内容。它比我们典型的图形信息量大得多，而且在我们看来，额外的信息并没有解释作用。 由 Fable 5.1 为"模型性能图表"任务制作的过度复杂的双面板说明性图表：左侧折线图（标记为 A），展示 2024、2025 和 2026 年模型的基准分数与 token 预算的关系；右侧图表（标记为 B），按发布年份比较固定引发与最大引发的进展。Fable 5.1 在"模型性能图表"任务中的输出 Fable 5.1 借鉴了一个它找到的特别复杂的参考示例，如下所示。该示例使用 "A" 和 "B" 徽章来标记所比较的两个概念，这些徽章有其存在的道理，因为每个概念在图表的多个部分中出现。然而，Fable 5.1 并没有学到这个标准，只是将这些徽章用于一次性的标记。 由 Fable 5.1 的参考搜索找到的 Epoch 示意图，比较微凸块（标记为 A）和混合键合芯片互连（标记为 B），展示横截面、间距和密度数据，以及第三个点阵插图显示每面积 ~44 倍的连接数，其中使用了 A 和 B 标签。Fable 5.1 参考搜索中的 Epoch 图表 这种未能学习 Epoch 标准的情况也体现在 GPT-6 Astra 尝试选择能吸引我们受众的有趣主题上。 我们要求模型撰写一篇 Epoch 风格的数据洞察——一篇关于 AI 趋势的短文。我们给模型提供了一个文章焦点（物理学研究中的 AI 使用情况）以及所有已发布数据洞察的链接，这些数据洞察呈现出一个清晰的模式：面向对 AI 感兴趣的广泛受众。 作为对比，我们在让模型执行该任务后不久发布了一篇[关于数学研究中 AI 使用情况的数据洞察](https://epoch.ai/data-insights/math-preprints-disclosed-ai-use)。该数据洞察也使用了 arXiv 论文数据（来自数学领域），聚焦于一个广泛的趋势，普通受众很容易理解。 来自 Epoch 真实 "arXiv" 数据洞察的折线图，展示承认使用 AI 的数学预印本占比，包括任何目的和实质性研究。Epoch 真实 "arXiv" 数据洞察 然而，GPT-6 Astra 选择了一个对该受众来说过于小众的主题： 由 GPT-6 Astra 在 "arXiv" 任务中产出的折线图，展示 HEP-ML Living Review 中每年的论文数量，显示归一化流和扩散模型在粒子物理学 AI 文献综述中超越了 GAN。GPT-6 Astra 在 "arXiv" 任务中的输出 这个主题是物理学领域的特定内容，而非 Epoch 受众会感兴趣的通用 AI 趋势。虽然该任务涉及物理学 arXiv 数据，但 GPT-6 Astra 应该能在其参考资料中找到足够的证据来判断一个更合适的主题。 ## 模型能提出有前景的研究方向，但难以设计出真正有信息量的实验 我们要求模型基于 Epoch 的"[基准测试可以帮助回答的 9 个大问题](https://epoch.ai/gradient-updates/9-big-questions-benchmarks-can-help-answer)"提出一个研究项目。这个过程涉及选择一个新颖的研究问题、设计并运行试点实验、撰写试点结果，然后提出后续实验。 这个过程中最重要的部分是实验设计。识别一个有价值的通用研究问题并不困难……