DeepSWE基准测试提醒:费用按任务计费,而非整个运行流程。

Reddit r/singularity 新闻

摘要

DeepSWE基准测试的费用是按任务计费,而非整个运行流程。运行Mimo V2.5 Pro这类模型,完整运行一次约需225美元,而Mimo V2.5非专业版约需7.15美元。用户在选择运行昂贵模型前应了解这一点。

我原本在运行Deep SWE基准测试,看到Mimo V2.5 Pro标价1.99美元,以为运行Mimo V2.5(非专业版)会更便宜,低于1.99美元。但实际上,它不像Artificial Analysis那样按总量计费,你需要将单价乘以总任务数(共113个任务)。这意味着Mimo V2.5 Pro完整运行一次实际约需225美元,GPT 5.5 medium总计约264美元。幸运的是,根据Mimo V2.5(非专业版)前14个任务约0.89美元的成本来看,完整运行大约需要7.15美元,所以我仍打算让它继续运行。但如果你打算用更贵的模型运行该基准测试,请务必谨慎,因为一般观念中它是个便宜的测试。以下是基于已完成任务的项目估算: ### **截至目前(14个任务)— 总成本:0.89美元** * **缓存命中(98.8%):** 1.535亿 token | 0.43美元 * **缓存未命中(1.2%):** 180万 token | 0.25美元 * **输出:** 72.3万 token | 0.20美元 ### **预估(113个任务)— 总成本:约7.15美元** * **缓存命中成本:** 3.47美元 * **缓存未命中成本:** 2.04美元 * **输出成本:** 1.64美元
查看原文

相似文章

Meta 的 816B 参数 Muse Spark Open 在 Artificial Analysis 上得分为 39,180B 参数的 Qwen3.8-Flash-Next 得分为 40。11 款开放权重模型的得分与规模对比

Reddit r/LocalLLaMA

作者基于 Artificial Analysis 的评分绘制了 11 个开放权重模型的参数量-得分对比图:816B 的 Meta Muse Spark Open 得分 39,而仅 180B 的 Qwen3.8-Flash-Next 得分 40;图表还包含 MiMo-V2.6-Pro、DeepSeek V4.1 Flash 等模型及量化体积、本地部署建议等信息。

NVFP4 下的 Qwen3.8-FN(Basalt vs cachy-flash vs ninfer-ext)

Reddit r/LocalLLaMA

对 Qwen3.8-Flash-Next NVFP4 模型在单张 RTX 5090 上使用三个推理引擎(basalt、capy-flash、ninfer-ext)进行完整 262k 上下文基准测试,basalt 在所有上下文长度和两种解码模式下均领先(预填充速度为 8.1k–9.2k 词元/秒,贪心解码速度为 176–265 词元/秒),解码排名与 MTP 草稿接受率一致。

在 MacBook 上用一个 9 亿参数的转录 + 说话人分离模型处理了一段 17.5 分钟、4 人参与的 AMI 会议录音:识别出全部 4 位说话人,说话人混淆率为 0.08%,耗时 12 分钟

Reddit r/LocalLLaMA

作者在 MacBook Pro (M5 Pro, 64GB) 上用 MPS 后端运行 0.9B 的 MOSS-Transcribe-Diarize 模型,对 AMI 测试集一段 17.5 分钟、4 人会议做单次转写+说话人分离,仅用 12 分钟(约 0.68x 实时)完成,4 位说话人全部识别,说话人混淆率仅 0.08%,DER 为 15.4%,并能正确处理重叠对话。

基准测试:Recursive 的 Flint 40B A2.5B Q4 在配备 48GB 内存的 MacBook Pro M4 Pro 上,使用针对 Apple Silicon 优化的开源引擎 Kapitsa,达到 128 tok/s,兼容 Claude/Codex/Pi/OpenCode。

Reddit r/LocalLLaMA

Kapitsa 是一款针对 Apple Silicon 优化的开源推理引擎,在配备 48GB 内存的 MacBook Pro M4 Pro 上运行 Recursive 全新的 Flint 40B Q4 模型时,解码速度达到每秒 128 个 token,在长上下文解码和预填充基准测试中优于 llama.cpp 和 Recursive 自家的引擎。