Pi：极简且高性能 | EARENDIL

来源：https://earendil.com/posts/pi-autoresearch-and-databricks/

Pi 的极简主义是其优势

AI 让代码变得廉价，因此许多公司都在构建更大的工具以追求更好的性能。更大的提示词、更多的编排、更多的层次、更多的复杂性。这也使得这些工具本身使用起来更昂贵。Pi 则采取了相反的做法。

Pi 是一个刻意选择极简主义的编码框架。开箱即用只有 4 个工具，其系统提示词（https://github.com/earendil-works/pi/blob/main/packages/coding-agent/src/core/system-prompt.ts#L121-L159）和工具定义加起来不到 1,000 tokens。其理念是：大多数工作都可以用基础功能完成，如果你想要更多，那就自己构建。

越来越多的证据表明，Pi 的设计不仅更简洁，而且更便宜、性能更好。用户发现，即使不添加针对用户特定工作流程和需求的扩展，原版 Pi 也能产出行业领先的结果。正如我们将在 Databricks 和 Shopify 的案例研究中看到的那样，Pi 为两者都带来了理想的结果。

案例研究

Databricks 研究：每任务成本

Databricks 最近分享了他们的发现“在 Databricks 数百万行代码库上对编码 Agent 进行基准测试（https://www.databricks.com/blog/benchmarking-coding-agents-databricks-multi-million-line-codebase）。”他们的研究目标是了解哪些编码 Agent 在真实世界的编码任务上表现最佳，以及任务性能如何随价格变化。

为了避免那些已经过度饱和的外部基准（https://arxiv.org/html/2602.16763v3）带来的偏差，他们基于自己工程师团队定期执行的任务创建了自有基准。结果符合我们的预期，但可能让业内许多人感到意外。用他们的话说：“……模型被调用的 harness 会极大影响成本和质量”，以及“在许多情况下，像 Pi 这样的简单 harness 在我们的工作负载上表现最佳”。

Databricks 基准图表，比较了编码 Agent 的通过率和每任务成本。图由 Databricks 制作。当与 Opus 4.8, xhigh 结合时，Pi 的整体通过率最高，且成本显著低于 Claude Code 和 Codex。

极简 harness，可衡量的效果

Pi 之所以表现出色，是因为它不会试图用一堆默认设置和指令将模型包裹起来，这些设置和指令往往会在指令层级（https://openai.com/index/the-instruction-hierarchy/）中丢失。相反，Pi 不干涉模型，团队能够添加他们工作流程中真正需要的东西。

Databricks 的研究很有洞察力，因为它将模型与 harness 分开来看。

他们报告说，当他们通过不同的 harness 运行同一个模型、使用相同的思考力度时，“每任务成本显著不同（某些情况下差异超过 2 倍），而质量保持不变”。我们称之为 Pi 的“上下文纪律”。“Pi 每轮发送的上下文大约少 3 倍。它能更好地管理上下文，保持更紧凑的工作集，并以更少的运行次数完成任务。”

我们同意，必须考虑端到端的工程经济学，而不仅仅是每 token 的价格。这在模型层面也是如此；例如，我们观察到，在 Haiku 4.5 上运行复杂工作流通常比 Sonnet 4.6 更昂贵，尤其是在涉及代码执行时，仅仅是因为 Agent 需要更多轮次才能成功完成任务。

现在我们在 harness 层面也看到了这一点：更强、更昂贵的模型搭配高效的 harness，可能比相反的组合更便宜。

Shopify 构建 Pi Autoresearch：可扩展性胜过臃肿

极简主义是 Pi 核心哲学的一部分。之所以能成功，是因为极简并不意味着不灵活。事实上，它是第一个为可扩展性和自编辑性而创建的、被广泛使用的 Agent 基础设施。

Pi 设计的另一个有洞察力的外部验证来自 Shopify。在 Shopify Engineering（https://shopify.engineering/autoresearch）的这篇文章中，David Cortés 描述了如何将 pi-autoresearch 直接构建为 Pi 扩展，只需询问“Pi，[请] 为 Autoresearch 创建一个扩展……”Pi 会阅读自己的扩展文档，并从这里开始构建一个新的工作流。

Autoresearch 是一个用于优化编码 Agent 的自主循环。当你要求一个变更时，它会运行实验来找出什么有效、什么导致回退。只要目标可衡量，它就可以丢弃这些回退并持续自我改进。

对于 Shopify 和其他人（https://x.com/pidotdev