benchmarking

一位从业者分享了其用于问答/编程智能体的确定性评估框架——固定语料库、注入的缺陷、隐藏测试，以及 pass^k/token 指标——并询问社区：其他人如何平衡冒烟测试与完整基准测试，使用大语言模型作为评判者是否能带来价值，以及 Promptfoo 或 DeepEval 等工具能否减轻维护负担。

Nicholas Carlini 证明，将现代 Stockfish 移植到1996年时代的200 MHz Pentium Pro 上运行，可达到约3300 Elo，远超 Kasparov 的约2800 Elo。这表明自1996年以来1335 Elo 的涨幅中，大部分来自更好的编程（+720），而非更快的硬件——也就是说，Deep Blue 的定制超级计算机从来都不是必需的。

该论文对开源 5G RAN 平台 OpenAirInterface (OAI) 和 srsRAN 进行了对比评估，涵盖特性、部署灵活性以及基于视频点播、直播和云游戏等真实应用负载的性能分析。

HyperHat 的创始人分享了一份评测设计草案，旨在衡量 AI 智能体能否识别相互矛盾的任务要求并提出澄清问题，而非盲目执行。该设计将存在矛盾的任务与要求可满足的对照任务配对，以防止智能体通过简单取巧的方式在评测中得分。

作者将多个 System 1 决策端点（tev1、TypeSafe Jev、pplx-decider-v1.2、liquid/d1.1）与本地 9B 大语言模型进行基准对比，用于多智能体路由和工具调用门控。结果显示，包含 40 个问题的并行“盲语义推断”（Blind Semantic Surmise）将延迟降至 159–319 毫秒，准确率达到 100%，且完全无需回退到大语言模型。

该推文介绍一篇评测论文，对 10 个视觉基础模型在 4 个层级上进行探测，评测轴从单帧图像理解转向跨观测保持的空间状态，对具身智能与 VLA 研究者有参考价值。

本文表明，在对话式 RAG 基准测试中，使用不完整的相关性标注作为评估拒答的捷径，会系统性地扭曲评估结果：更强的检索器会产生更多仍包含答案的“虚假漏检”上下文，导致可回答性 AUROC 被严重低估。作者公开了代码、运行结果和标注，并建议依据基于内容的标注来评估拒答，而非依据标准答案文档是否出现。

论文提出 TSFLab，一个自我改进、与具体智能体解耦的时间序列预测研究工作台，为编码智能体提供共享资源与工具，以低成本完成复现、基准测试与新方法开发，并显著提升任务完成率、降低词元与开发时间成本。

该论文探讨了使用大型语言模型（Claude Opus 5）为《自然》《科学》《细胞》系列期刊研究中的36项深度学习任务自动构建简单基线的方法，发现这些基线弥合的性能差距中位数达到95.5%，并在12项研究中达到或超过已发表的深度学习模型的性能，表明自动化基线检验可作为科学同行评审中一种可规模化应用的保障措施。

开源 Apple Silicon 推理引擎 Kapitsa 0.2.26 公布了 Qwen、Nemotron、Flint 和 Clover 模型在 M5 Max 上的基准测试结果，展示了其 KFlash 最佳优先树验证技术和 SSD 卸载功能，可在配备 48GB 内存的 MacBook Pro 上以每秒 61 个 token 的速度运行 180B 参数的 MoE 模型。

作者将 Speedy 与 Avalon 和 Strata 进行了本地运行 Qwen3.8 模型的基准测试，发现 Speedy 速度大幅提升：读取速度快 4 倍，生成速度约为 105-110 tok/s，总墙钟时间比 Avalon 短 26-31%。

一位用户在租用的 vast.ai 服务器上对 LLM 推理进行了基准测试。这些服务器配备双路 AMD EPYC 7642（ROME）主板、大容量 DRAM 和 RTX 3090 显卡。测试发现，大内存服务器配置在并发流数量增至 8 路的过程中实现了近乎线性的性能扩展——运行 Qwen 3.8 Flash Next Unsloth Q8 时，c=1 时达到 94 tok/s，c=8 时达到 456 tok/s。

构建多智能体工作流如今已轻而易举，因此，真正的竞争优势已从执行转向程序化评估，即通过系统性基准测试，将结果与真实标准答案进行对照。如果没有结构化的评估流水线，团队实际上就是在交付随机输出生成器，缺乏领域直觉来识别幻觉或逻辑偏移。

作者们发布了 Gear——一个受元学习启发的开源框架，被称为"遥感领域的 scikit-learn"。它将搜索决策与执行和评估分离，使 GEPA、RRSI 和 Harness² 等方法更易于实现与比较。其中一个可用的 GEPA 变体采用了共享故障诊断和分阶段评估机制，在 AutomationBench 和 Terminal-Bench 上取得了通过率的提升；同时，在使用同一优化后 harness 的条件下，GPT-5.6 Luna 相较于 Astra 的每任务 API 成本降低了约 95%。

该论文提出了 Seq@K，这是一种评估协议，用于衡量语言模型在每次失败后获得反馈的情况下，能否在 K 次连续尝试内解决问题。对 7 个基准测试和 16 个前沿模型的评估表明，该协议所揭示的模型选择格局与 Pass@K 存在显著差异。

WebAnything 提出了一个全自动框架，可根据真实 URL 重建以源网站为依据、可复用的网页智能体环境，构建了 244 个网站实例，支持 12,984 项任务，并表明使用其交互轨迹对 Qwen3.5-9B 进行微调能够提高网页智能体在多个基准测试中的任务成功率。

一项详细的基准测试表明，QEngine 1.3.1（针对 RTX 5090 编译）是单流解码速度最快的 Qwen3.8-Flash-Next 引擎，速度约为 Strata 的 1.4–1.9 倍、调优后的 vLLM 的 3 倍，其 KV-in-RAM 模式可显著提升重新访问空闲会话时的热启动性能。

ISTA 对 Unsloth 公布的 DeepSeek-V4.1-Flash-1017 量化对比结果提出异议，认为性能差距源于 32K 与 128K 的推理 token 预算差异，而非任何隐性的超参数调优，并邀请各方独立复现其基准测试。

这篇文章对 Go 1.28 新增的 HTTP/2“停驻”（parking）机制进行了基准测试。该机制允许处理连接的 goroutine 在空闲时退出，并在需要时重新创建。测试显示，在 5,000 个空闲连接的情况下，与禁用停驻机制的同一二进制程序相比，RSS 内存占用减少了 84.7–92.6 MiB（约 39–41%）。

Unsloth 发布 DeepSeek-V4.1-Flash-1017 Dynamic V3.1 (preview) GGUF 量化模型，宣称在 7 项基准上精度保持优于 ISTA 的 GSQ-RCO GGUFs，并公开了无法复现对方 AIME25 100% 精度恢复声明的对比结果。