Claude Code 春季的性能回退是 harness 层的 bug，而非模型问题。我将 Claude Code 的 harness 与另外 11 个生产级代理做了对比。

Reddit r/AI_Agents 新闻
ai-agents claude-code harness coding-agents comparison regression anthropic

摘要

作者对比了 Claude Code 与另外 11 个生产级 AI 编码代理的 harness 实现，指出三、四月的性能回退是 harness bug 而非模型问题，并总结出薄 harness 层的风险与改进建议。

先简单回顾一下我做这件事的起因：在三月和四月，Claude Code 的表现明显变差了大约一个月。根据 Fortune 对 Anthropic 事后复盘的报道，一个改动导致模型在会话中途不断丢弃自己的推理历史，另一个改动则把两次工具调用之间的回复限制在 25 个词以内。API 本身并未受影响。同一个模型，不同的 harness。于是我通读了 12 个团队公开的模型外围代码（Codex、Claude Code、Cursor、Devin、Stripe 的 Minions、Manus、Agentforce、Shopify Sidekick、Sierra、Intercom Fin、Harvey、Hebbia），并对它们做了对比。Claude Code 的定位如下： - **它是模型外的一层薄壳**：包含工具、上下文管理以及文件快照（因此你可以撤销操作）。与 Stripe 或 Salesforce 相比，其路径中很少有逻辑是固化在代码里的。 - **这种做法之所以行得通，是因为编码错误很容易被发现。**编译器、测试和 git 大多能在事后捕获错误。Stripe 也表达了同样的观点：编码代理运行在数十年积累的快速、可验证的防护栏之内，而知识型工作几乎不具备这些条件。 - **风险恰恰是这次回退所暴露出的问题。**当 harness 层很薄时，一个小小的 harness 改动就会大幅影响质量，而在用户抱怨之前，外部没有人能察觉。修复方案很朴素：每次 harness 发布后重新跑一遍固定的任务集，并追踪多次运行的可靠性，而不是只看单次运行。 在全部 12 个案例中，有两件事让我意外：没有一家公布单个成功任务的成本，而且各团队关于其 harness 的说法几乎全是自述（我收集的 83 条陈述中有 66 条）。 关于我自己的配置，有一个 Claude 的细节：撰写这些文章的代理是通过 headless Claude Code（`claude -p`）运行的，并且关闭了所有工具。这是我的订阅计划下的一次普通模型调用，而 Claude Code 会按 API 牌价报告每次运行的成本——我就是用这个来衡量每篇被采纳草稿的成本。我在第一次运行前就设定了及格标准，无论结果如何都会公布。 如果你见过 Claude Code 的 harness 表现与我描述的不同，请告诉我。这正是我最想要的纠正。 完整对比，每条陈述均附链接：harness[dot]psyprasad[dot]tech[/]compared
查看原文

相似文章

@shao__meng: Claude Code、Cursor、Codex、Aider、Cline 部分底层模型可能完全相同，但 Agent 表现却不一样，为什么？ @addyosmani 认为：是因为模型之上的那层“外壳” —— Harness，它包括「提示词、…

X AI KOLs Timeline

The article discusses how Addy Osmani argues that the performance difference between AI coding agents like Claude Code, Cursor, and Cline stems from their 'Harness'—the layer of prompts, tools, and constraints around the model—rather than the underlying model itself. It details best practices for harness engineering, including hooks, sandboxing, and context management, to bridge the gap between model capability and actual agent performance.