我们需要一个工具基准排行榜
摘要
本文主张需要一个基准排行榜,用于比较AI模型工具(例如KimiCode、OpenCode和Codex),而不仅仅是模型本身,并提出了一个代码库,用于测试模型+工具组合的成本、运行时间、token使用量和得分。
这个问题一直萦绕在我脑海里:如果我在用Kimi模型,那么与它交互时,KimiCode真的比OpenCode更好吗?如果OpenCode中一个低智能的GPT模型表现得比Codex中的同一个模型更好呢?如果“最佳”设置不仅仅是关于模型,还关乎包裹在它周围的工具呢?如今我们有大量的AI模型排行榜,但几乎没有比较使用这些模型的工具的内容。这就是为什么我创建了这个代码库:(在评论区下方)想法很简单:测试并发布每种组合的结果:模型智能/推理水平、工具、基准测试、成本、运行时间、token使用量。由此,我们可以开始回答诸如:哪个工具从同一个模型获得最好的分数?哪个工具消耗最少的token?这个代码库是由Codex上的GPT-5.5 xhigh一次性生成的,不过我自己太穷了,无法运行全部基准测试,哈哈。欢迎fork、吐槽、彻底否定这个想法,或者构建更好的版本。我主要只是想引出这个想法:工具基准测试是氛围编码/编码代理评估中一个未被探索的部分。
相似文章
有人有兴趣构建一个纯 harness 基准测试吗?
一项关于创建社区驱动的基准测试的提议,专门用于评估 LLM harness,并设有一个排行榜,衡量 harness 在多样化真实世界任务上的表现。
AI模型与工具组合:哪一个最好?
本文介绍了一个基准测试,用于比较各种AI模型与工具组合在数学、视觉和编程等任务中的能力和速度,并列出了两个类别中的最佳表现者。
@omarsar0:重要讨论。衡量模型与测试工具的对比完全失效。我更倾向于使用最小化的测试工具如Pi和Hermes Agent来测试模型质量…
作者批评了因偏见和缺乏标准化而导致的AI模型测试工具衡量系统的失效,同时推测像Claude这样的模型可能很快就能动态生成测试工具。
AI能否让其他AI变得更优秀?我们测试了5个前沿LLM在重写其他代理框架的能力,评分基于它们从未见过的测试集(HarnessOpt-Bench,arXiv + MIT代码)
文章介绍了HarnessOpt-Bench,一个评估LLM改进其他AI代理框架能力的基准测试,并基于5个前沿模型的研究结果,指出模型选择对性能的影响大于框架选择。
Harness Arena - 开源代理工具盲测基准
Harness Arena 是一个开源的盲测基准工具,旨在比较各种AI代理工具在受控、匿名条件下的表现,以提供公平评估并邀请社区贡献。