你尝试过任何与Claude管理智能体相似但成本更低的开源框架吗?
摘要
文章比较了Claude管理智能体与TrueForge等开源替代方案,发现开源工具可以在成本更低和令牌使用更少的情况下实现相似的任务解决率。
Claude管理智能体是一个非常好的产品,其功能深度在开源领域难以匹配。但我想了解选择开源实际上会放弃什么。不仅仅是在功能清单上,而是在实际的智能体工作负载中:相同的模型、相同的提示、相同的任务。因此,我尝试通过运行14个跨系统任务来验证这一点,背后有三个MCP服务器——一个CRM、一个问题跟踪器和一个文档存储,通过管理智能体、deepagents和TrueForge,后两者都是开源智能体框架。
最令人惊讶的结果是:Claude管理智能体 + Opus 4.8:11/14任务解决 | 每次运行$11.8 | 每次运行10.0M令牌
TrueForge + Opus 4.8:11/14任务解决 | 每次运行$8.6 | 每次运行3.7M令牌
相同的模型。相同的基准测试。相同的平均解决率。但TrueForge使用的令牌减少了约63%,每次运行成本降低了约30%。
我们在工具使用上也看到了类似的差异:TrueForge平均每任务19次工具调用,而Claude管理智能体为32次。
然后我尝试更换模型。TrueForge + GLM-5.2:11.7/14解决 | 每次运行$3.0 | 每次运行3.8M令牌
在这个基准测试中,这比Claude管理智能体 + Opus的平均解决率略高,而成本大约低75%。
这仍然是早期阶段。开源运行时尚未具备一流的跟踪/评估工具。它们不自带代码执行沙箱,因此你需要接入一个。上下文压缩是有意有损的。因此,它绝对不是成熟管理智能体平台的完整功能替代品,但我认为有趣的是,核心运行时在保持开源、模型中立和可部署在自己的基础设施上的同时,已经能够在这些任务上具有竞争力。
我已经将仓库放在评论中。
相似文章
@akshay_pachaar:Sam Altman 在七月为开源工具框架辩护。一个月后,有人推出了它,并且更高效……
TrueForge 是一个开源代理工具框架,它优化了提示上下文和模型调用,与托管解决方案相比,显著降低了令牌成本,如基准测试所示。
@nummanali: Claude Managed Agents 确实很棒,但我们需要一个开源解决方案。目前还没找到合适的选项,可能得自己开发了……
作者称赞了 Claude Managed Agents,但表达了对开源替代方案的渴望,指出目前缺乏此类选项,并考虑自行构建。
我的开源SDLC工具在它擅长的每个任务上成本都低于Claude Code,最高便宜75%(并指出其不足之处)
一个开源SDLC工具声称在处理得心应手的任务上比Claude Code便宜高达75%,并讨论了其不足之处。
@rajistics: 代币成本正在攀升。如何避免被单一供应商的 harness 锁定?做了一个演示,展示 @OpenH…
一个演示,展示 OpenHands 如何作为控制平面,跨多个 agent harness(如 Claude Code、Gemini CLI 和 OpenHands 自身)工作,使得无需重写编排即可交换模型或供应商。
我构建了一个开源的多智能体SDLC工具,通过一次性学习仓库,在大型仓库上胜过冷启动的Claude Code运行。内含真实基准测试(包括其失败案例)。[P]
AutoDev Studio 是一个开源的多智能体AI编码工具,通过构建持久化的仓库知识库来降低成本,在大型仓库的大多数任务上优于冷启动的Claude Code运行。