@AstroHanRay: 我们针对工具裁剪(active tool prune)实际跑了 A/B benchmark 测试,121 组 Terminal Bench 任务对比: - 性能:无回退(甚至略有提升 +2.48pp) - Token 消耗:减少 41.7…
摘要
针对Agent工具裁剪(active tool prune)的A/B测试显示:在121组Terminal Bench任务中性能略有提升(+2.48个百分点),Token消耗减少41.7%,成本降低31.6%。
查看缓存全文
缓存时间: 2026/06/28 22:07
我们针对工具裁剪(active tool prune)实际跑了 A/B benchmark 测试,121 组 Terminal Bench 任务对比:
- 性能:无回退(甚至略有提升 +2.48pp)
- Token 消耗:减少 41.7%
- 成本:降低 31.6%
kabikabi (@jakevin7): 做 Agent 有个不成文的默认假设:tool result 很重要,模型要看完原文才能继续推理。
最近发现这个假设可能是错的。
https://t.co/3wF7yrD3ES 欢迎 star
在 maka 里,我们对 tool result 做了激进的
相似文章
@yibie: 推荐这篇硬核实测。一个工程师用了一周追踪自己的 coding agent session,发现任务本身只消耗了 0.67% 的 token——其余 99% 全花在搬运工具目录、skill 描述和系统 prompt 上。工作对开销比 1:1…
An engineer tracked his coding agent's token usage over a week, finding that only 0.67% of tokens were spent on actual tasks, with 99% consumed by tool directories, skill descriptions, and system prompts. He provides optimization strategies, including shell output filtering which saved 46.9% of tokens.
测试了15个本地模型在 agent/工具使用上的表现——Bonsai 27B 排名垫底!
评测了15个本地运行的模型在 Toolery agent/工具使用基准上的表现,qwen3.8-27B 以71.8%排名第一,而1-bit量化压缩到约4GB的 Bonsai 27B 垫底(50.5%),主要失败原因是工具调用次数超限(budget_violated)而非选错工具。
@AndyL5cc: 腾讯混元这次有点猛! 最新开源论文 Terminal-RSI,让一个 27B 小模型的终端任务成功率从 51.7% 飙升到 86.5%! 核心玩法很简单: AI 自己总结成功经验 → 重新训练 → 继续优化,循环两轮! 不用一味堆参数,靠…
腾讯混元开源论文 Terminal-RSI 提出递归自我改进框架,通过递归自我重写与策略精炼交替训练,将 27B 终端 Agent 的 Terminal-Bench 2.1 任务成功率从 51.7% 提升至 86.52%。
HumanoidToolBench:从工具选择到移动执行的人形机器人工具使用基准测试
HumanoidToolBench 提出一个18项任务的基准,评估人形机器人从工具选择到移动执行的能力,并发布包含3.1k条演示的 ToolBook 数据集(仿真与真实 Unitree G1 采集),揭示了工具选择与任务成功执行之间的显著差距。
Opus 5.5 在 Terminal-Bench 4.0 上的成本与性能对比
本文评估了 Opus 5.5 AI 模型在 Terminal-Bench 4.0 基准测试中的成本效益和性能。