DeepSWE基准测试提醒:费用按任务计费,而非整个运行流程。
摘要
DeepSWE基准测试的费用是按任务计费,而非整个运行流程。运行Mimo V2.5 Pro这类模型,完整运行一次约需225美元,而Mimo V2.5非专业版约需7.15美元。用户在选择运行昂贵模型前应了解这一点。
相似文章
Meta 的 816B 参数 Muse Spark Open 在 Artificial Analysis 上得分为 39,180B 参数的 Qwen3.8-Flash-Next 得分为 40。11 款开放权重模型的得分与规模对比
作者基于 Artificial Analysis 的评分绘制了 11 个开放权重模型的参数量-得分对比图:816B 的 Meta Muse Spark Open 得分 39,而仅 180B 的 Qwen3.8-Flash-Next 得分 40;图表还包含 MiMo-V2.6-Pro、DeepSeek V4.1 Flash 等模型及量化体积、本地部署建议等信息。
NVFP4 下的 Qwen3.8-FN(Basalt vs cachy-flash vs ninfer-ext)
对 Qwen3.8-Flash-Next NVFP4 模型在单张 RTX 5090 上使用三个推理引擎(basalt、capy-flash、ninfer-ext)进行完整 262k 上下文基准测试,basalt 在所有上下文长度和两种解码模式下均领先(预填充速度为 8.1k–9.2k 词元/秒,贪心解码速度为 176–265 词元/秒),解码排名与 MTP 草稿接受率一致。
@jerryjliu0:今天我们发布 OCRia-1,一款用于文档解析的前沿 VLM,在准确率、成本和延迟方面均达到新的 SOTA……
Jerry Liu 宣布发布 OCRia-1,一款面向文档解析的前沿 VLM,在准确率、成本和延迟上均达到新的 SOTA,并在 ParseBench 及多个第三方基准上取得领先成绩。
在 MacBook 上用一个 9 亿参数的转录 + 说话人分离模型处理了一段 17.5 分钟、4 人参与的 AMI 会议录音:识别出全部 4 位说话人,说话人混淆率为 0.08%,耗时 12 分钟
作者在 MacBook Pro (M5 Pro, 64GB) 上用 MPS 后端运行 0.9B 的 MOSS-Transcribe-Diarize 模型,对 AMI 测试集一段 17.5 分钟、4 人会议做单次转写+说话人分离,仅用 12 分钟(约 0.68x 实时)完成,4 位说话人全部识别,说话人混淆率仅 0.08%,DER 为 15.4%,并能正确处理重叠对话。
基准测试:Recursive 的 Flint 40B A2.5B Q4 在配备 48GB 内存的 MacBook Pro M4 Pro 上,使用针对 Apple Silicon 优化的开源引擎 Kapitsa,达到 128 tok/s,兼容 Claude/Codex/Pi/OpenCode。
Kapitsa 是一款针对 Apple Silicon 优化的开源推理引擎,在配备 48GB 内存的 MacBook Pro M4 Pro 上运行 Recursive 全新的 Flint 40B Q4 模型时,解码速度达到每秒 128 个 token,在长上下文解码和预填充基准测试中优于 llama.cpp 和 Recursive 自家的引擎。