DeepSWE基准测试提醒：费用按任务计费，而非整个运行流程。

Reddit r/singularity 新闻
benchmark cost-analysis deep-swe mimo gpt tokens psa

摘要

DeepSWE基准测试的费用是按任务计费，而非整个运行流程。运行Mimo V2.5 Pro这类模型，完整运行一次约需225美元，而Mimo V2.5非专业版约需7.15美元。用户在选择运行昂贵模型前应了解这一点。

我原本在运行Deep SWE基准测试，看到Mimo V2.5 Pro标价1.99美元，以为运行Mimo V2.5（非专业版）会更便宜，低于1.99美元。但实际上，它不像Artificial Analysis那样按总量计费，你需要将单价乘以总任务数（共113个任务）。这意味着Mimo V2.5 Pro完整运行一次实际约需225美元，GPT 5.5 medium总计约264美元。幸运的是，根据Mimo V2.5（非专业版）前14个任务约0.89美元的成本来看，完整运行大约需要7.15美元，所以我仍打算让它继续运行。但如果你打算用更贵的模型运行该基准测试，请务必谨慎，因为一般观念中它是个便宜的测试。以下是基于已完成任务的项目估算： ### **截至目前（14个任务）— 总成本：0.89美元** * **缓存命中（98.8%）：** 1.535亿 token | 0.43美元 * **缓存未命中（1.2%）：** 180万 token | 0.25美元 * **输出：** 72.3万 token | 0.20美元 ### **预估（113个任务）— 总成本：约7.15美元** * **缓存命中成本：** 3.47美元 * **缓存未命中成本：** 2.04美元 * **输出成本：** 1.64美元
查看原文

相似文章

Astra 在 Blueprint-bench2 上获得最高分

Reddit r/singularity

Astra 在 Blueprint-Bench 2 上获得最高分，这是一个测试 AI 智能体使用空间推理和跨公寓学习将公寓照片转换为精确 2D 平面图能力的基准测试。