benchmarking

该论文通过六语言析因设计，独立考察问题语言、回答语言与验证指令语言对多语言 P(True) 自评估的影响，发现三者分别影响准确率、区分度与校准，且未经验证的评判者会严重扭曲模型表现差距。

研究通过预注册的受控实验比较了声明式动画规格与自由HTML/JavaScript代码两种LLM生成解释的方案，发现规格虽更短，但由于推理开销增加并未更便宜、更快或更可靠，小模型的规格可靠性甚至显著更低。

对 DeepSeek V4.1 Flash-1017 在 34 项基准测试中的独立安全评估发现，其安全性较先前版本有显著提升，并已接近领先的闭源模型水平。评估建议采用过程级可观测性、增量式安全测试和非公开基准测试，以应对失控和有害操纵风险。

一项元研究，将幻觉检测作为一个受基准条件约束的测量问题进行分析，从溯源、类型学和粒度三个维度展开，并提出了一种Span Coverage F1指标，以解决跨级别标注边界不一致带来的变异性问题。

Puget Systems 概述了其 Puget Bench 基准测试工具目前在 Snapdragon 和 NVIDIA RTX Spark 设备上的 ARM 支持情况，并指出，该基准测试套件已完全原生支持 ARM，但 Lightroom Classic 等宿主应用仍缺乏原生 ARM 版本。

RSIHub 是一个开源框架，为智能体进化（agent-evolution）研究提供可组合的共享基础设施，标准化方法的构建、比较与扩展，并在 Terminal Bench 2 和 τ3 Banking 上评测了 AHE、Hyperagents、A-Evolve 和 GEPA 等方法。

一位爱好者分享了测试结果：在配备 4 块 Intel B65 的系统上，将分块大小增至 8192 后，vLLM Flash-Next 的预填充速度提升约 30%，首 token 延迟（TTFT）缩短约 30%，并附有详细的 Qwen3.8-Flash-Next 基准测试表格和 LibreChat 演示。

本文表明，在“指挥者任务”中，要求视觉语言模型在采取行动前回答指挥者能看到哪些积木，会显著改变模型的选择，使各款 GPT 模型选择隐藏积木的比例提高 12–88 个百分点，Qwen3.8-27B 则提高 17 个百分点。作者认为，视角采择基准需要设置仅在报告问题上有所不同的配对基线，以免误读模型未能运用他人视角的表现。

该论文提出了 SkillEval，这是一个将大语言模型发现的可解释技能与认知诊断模型相结合的框架，用于生成大语言模型在不同基准测试中的细粒度能力画像，改进基于平均分的评估方式，并支持大语言模型路由和自适应测试。

本文研究了用于工具选择等封闭集决策的编码器可以做到多小，发现逐选项打分优于联合打分，并且68M/150M参数的联合编码器在毫秒级响应请求的同时，性能超过了435M参数的DeBERTa-v3零样本分类器。

Nace.AI 的 Kapitsa 0.2 随之推出 KFlash——一种面向 Apple Silicon 的基于 best-first 树搜索的投机解码（speculative decoding）方法。该方法在 M4 Pro 和 M1 Pro MacBook 上，基于 Qwen 模型与 Splash 1.4.0 的 DFlash2、mlx-serve、Ollama、llama.cpp 等方案进行了基准测试，展现出顶尖的解码吞吐量（约 65–201 tok/s）。

一项对比基准研究，在四个复杂度级别下使用70个学术提示词对十个大语言模型进行评估，测量其幻觉率与回答偏差。研究发现，回答完整性与事实可靠性之间存在权衡，其中 Perplexity 和 DeepSeek V3 在准确性方面得分最高。

本文对金融文档审查任务中的单智能体与多智能体 LLM 设置进行了对照实验，发现将工作分配给三个智能体能略微多发现一些缺陷，但会增加误报，且 Token 消耗达到 2.2 至 2.4 倍；而采用简单自采样的单智能体方案往往能达到更好的平衡准确率。

本文将基准评测形式化为难度上的经验测度，识别出测度错配与覆盖缺口等失效模式，并提出了诊断指标以及 BenchFill——一种面向难度的目标化题目重写算法，同时在 7 个领域、25 个主流基准上进行了分析。

HyperHat创始人分享了对60位指挥AI编程智能体的工程师的基准测试结果，发现真正拉开差距的是规格描述质量、机制验证和审查行为——而非提示词技巧，并且大多数人忽略了智能体的部分失败。

一项对 674 家 AI 工具厂商服务条款的分析发现，315 家限制基准测试或竞争性使用，其中 107 家明确提到基准测试，且许多条款几乎是照搬 Oracle 1982 年禁止公开基准测试的条款。作者质疑为什么包括 LangSmith 和 Coinbase 在内的 AI 厂商会禁止发布性能测试结果。

Agent4Sci 通过跨 11 个领域的 20 个科学机器学习基准评估前沿编码智能体，发现它们主要靠工程技巧而非领域洞察提升性能，而轻量插件技能可显著改善表现（Claude Opus 从 10.4% 提升至 20.1%）。

Hugging Face政策主管Irene Solaiman在TechCrunch Disrupt上表示，嵌入式AI评估器和基准测试仍是一门不成熟、难以标准化的科学，她强调了可复现性、开放权重，以及评估智能体和运行框架（而不仅仅是模型）日益增长的需求。

OpenAI 发布了模型新进展，显著提升了在 COBOL、Fortran 和 Visual Basic 等低资源编程语言上的编码能力。此次引入了 MultiLangBench 以及一项 COBOL 迁移评估，其中 GPT-6 Astra 和 GPT-6.1 Sol 相比 GPT-5.6 Sol 在准确率和成本方面均实现了大幅提升。

我们提出 AuditKIT，一个源代码可用的评估库，将基准准确率、基于评判模型的评估、运行时性能、工具使用行为和检索质量统一到单一的结果表示中，并支持方向感知的指标契约与可扩展的后端。七个案例研究展示了答案抽取、运行时行为和指标选择如何改变大语言模型与智能体系统的评估结果。