benchmark

Fish Audio 为 Drama 3 语音模型发布了升级后的权重，使其在 Artificial Analysis 的 Provider Voice 和 Controlled Voice 两个 Speech Arena 榜单上均位列开源权重模型第一，并在发音鲁棒性基准测试中排名第一。

Hugging Face 的 Open TTS 排行榜不仅比较 TTS 模型，还对推理实现进行基准测试，涵盖流式性能（TTFA）、推理速度、语音质量（WER/CER、说话人相似度）以及 GPU/CPU 结果——对构建本地语音代理的开发者非常有价值。

Suhail 分享了一项独立验证结果，显示 particle-1 在真实软件工程基准测试中实现了相同的性能，同时减少了 43% 的 token 消耗。

一位开发者在搭载 M5 Max 的 MacBook Pro 上，使用本地 Qwen 3.8 27B 模型对 10 个编程智能体进行了基准测试，比较了通过率、词元用量、缓存复用和沙盒行为。Pi 最为精简，而 Qwen Code 的词元消耗最高，还有几个智能体尽管设置为离线模式，仍尝试访问网络。

作者分享了一个多步骤智能体防护机制的首个可运行版本，该机制会在执行不可逆操作前，重新核查该操作所依赖的事实；同时还提供了一项基准测试，分别报告检出率和误报率——在本地 Qwen2.5-7B 模型上运行时，经过保守的归一化处理后，误报率达到 0%。

LlamaIndex 发布了 Boo Bench，这是一个由 179 页文档页面组成的基准测试集，专门设计用来诱骗解析器和视觉语言模型进入重复循环。该基准配有排行榜和论文，测量各系统返回结果的"无鬼影"频率。

研究人员报告称，他们把自己职业生涯中最难的研究问题输入到一个新的AI模型中，模型横跨多个不同领域，将这些问题逐一解决。

Nova 报告称，其基于 Modal Sandboxes 构建的 Agent OS 将 Claude Opus 4.8 在 Terminal-Bench 2.1 上的得分提升至 83.9%，略高于 Fable 5 的 83.8%，且未进行任何微调，表明智能体编排如今已能与前沿模型能力相媲美。

一位用户报告称，在双 RTX 3090 显卡上使用 QEngine 运行量化的 RedHatAI/Qwen3.8-27B-INT4 模型，速度明显快于此前使用 FP8 的 vLLM 配置，并分享了配置和模型仓库的链接。

该论文将“指代鸿沟”——即无法将语言与视觉实体建立关联——确定为多步骤多模态推理的关键瓶颈，并推出了 ReGap-Bench，表明编号等与任务相匹配的外部指代标记，无需训练即可将准确率提升高达 25%。

Basalt（Strata 的一个分支）合入了新的 PR，搭配 IQ3_S 量化的 Qwen3.8 Flash Next，在单张 RTX 5080 和 64GB DDR5 内存的配置下创下了新的基准测试纪录：在实时 opencode 编程会话中，提示词处理速度达到 5500 token/秒，峰值生成速度高达 275 token/秒。

MemSteer 由北京大学与微软亚洲研究院合作开发，能够将用户历史自动转化为针对智能体记忆的监督测试，MemSteer-Opt 则利用这些证据优化存储、检索与呈现方式，无需人工标注数据或微调，在 ATM-Bench 与 RHELM 上超越了 BM25 基线。

一位爱好者使用 5060 Ti，在 50 个提示词上对 39 个本地大语言模型进行了基准测试，随后让四个前沿大语言模型（Gemini 3.8、GPT-6.1 的不同变体、Gemini 4）对输出进行评分，结果将 Bonsai-2 27B 和 Underdog-Saluki 27B 列为能力最强的模型，同时将 Nanbeige4.2 3B 和 Gemma-4 12B 等较小模型评为最适合微调的基础模型。

该论文提出了BedBench，一个包含十三个程序化生成的3D推理任务的受控基准，结果显示视觉语言模型能够做出正确的单个判断，却无法恢复并一致地应用精确的逐色计数（准确率为7.2%，而人类为93.3%），并主张应从精确正确性、一致性以及对视觉的依赖性等多个维度进行评估，而非仅看准确率。

MAServeBench 是一个基准测试框架，将多智能体协作作为可配置的负载维度，用于评估 LLM 服务系统与 GPU/NPU 硬件性能；它通过层级化语义轨迹实现可复现的依赖追踪与任务级测量。

CodeSpecWeave 是一个用于合成长程编码任务的框架，这些任务具有丰富且相互依赖的规格要求。该框架生成了 4,670 个训练任务和一个包含 100 个任务的基准测试集；在这些任务上进行强化学习训练，显著提升了 DeepSWE-v1.1 相较于基线的性能。

HALO 提出了一套人工标注的基准与包含 8,000 条回复的数据集，用于评估主动型 AI 智能体。研究发现，过度主动（时机过早或强度过大）是主要的失败模式，占被拒回复的 61% 以上。

EditAgent 提出一种新的智能体图像编辑框架，通过将编辑步骤路由到多样化的专用编辑器并利用验证记录进行列表式评判，同时扩展了智能体的动作空间与观察空间，显著提升了复杂图像编辑任务的可靠性与效率。

一位用户在配备 4 张 R9700 GPU 的硬件配置上，对比了 Qwen 3.8 27B 与 Nanbeige 4.3 33B 在实际场景中的吞吐表现，发现 Qwen 在词元生成速度和每小时任务量上分别领先约 25% 和 45%，且在思考模式下准确率更高。

Google发布前沿模型Gemini 4 Carbon，在编码、智能体任务和网络安全方面实现显著提升，在Artificial Analysis Intelligence Index、SEC-bench Pro和ExploitGym等多个基准上领先Claude Opus 5.5和GPT-6 Astra，定价与Argon一致。