evaluation

一个名为 OmniParse Bench 的开源文档解析基准测试发布了，该测试在 92 种语言的 2,937 页文档上运行了 16,288 项测试，用于对比 DeepSeek-OCR、PaddleOCR-VL 和 Surya 等 OCR 方案，结果表明没有任何一个解析器能在所有文档类型上都表现最佳。

一位开发者介绍了他们的夜间自动任务：从 Claude Code 和 Codex 会话中挖掘纠正意见，并将其转化为经过审核的经验教训。其中提到了一个导致验证被悄然跳过整整一周的漏洞，以及一个尚未解决的问题：如何衡量这些经验教训是否真正改变了智能体的行为。

该论文批判了传统机器翻译评估方法（MQM、ESA）的局限，提出了RATE（Refined Assessment for Translation Evaluation）协议和由专业语言学家标注的高质量英俄翻译评估数据集，发现SOTA机器翻译系统在准确度上可能已超越人类翻译，但在流畅度上仍存在差距。

该论文提出了一个针对法语表层变体（省略撇号、去除变音符号、键盘输入错误）的受控基准，涵盖七项任务，共包含12,600个输入。结果表明，随着扰动强度增加，准确率下降，Brier分数和负对数似然（NLL）上升，而将校准与输入还原相结合可提高可靠性。

本文介绍了 BoardSafety，这是一个基于厂商数据手册构建的基准，用于评估大语言模型能否判断某项操作对特定开发板是否安全。结果表明，即使能够获取针对特定开发板的规则，当前模型仍无法可靠地作出安全判断。

该论文提出一个统一评估框架，使用 Jev 1.13.0 作为案例研究 Structured System 1 模型在时间序列分类、事件类型预测、油温方向及股价走势预测等任务上的表现，结果显示其在显式时间模式和事件预测上较强，但在许多数值序列分类和股票走势预测上接近随机水平。

该论文审计了 1999 至 2026 年间的 113 项研究，发现只有 9 项主要评测真正测量了真实人类对系统所选行动的响应，其中仅 2 项还将显式的响应预测与实测响应进行比较；在 25 项语言模型相关工作的全文检查中没有发现符合这些条件的实验。作者提出了一套直接预测评测标准，并设计了一个用于谈判助手的单步实验来区分任务成功、当前状态推断与真实响应预测。

NewsBench 是一个由专家主导的基准，围绕新闻业、政策和情报分析的编辑标准，从来源质量、事实性和中立性三个维度评估前沿 AI 系统的新闻报道认知质量，并揭示了四个前沿模型各不相同的失败模式。

该论文提出一种将专家判断蒸馏为可规模化自动评估系统的方法，构建专家网络并将其推理过程编码为结构化编辑标准，在AI新闻报道上验证了专家校准的自动评审显著优于未经校准的前沿模型。

该论文提出实体级分析作为补充视角来评估历史文档OCR质量，使用Berrutti档案馆175份文档及5,209条人工标注实体，比较了序列识别OCR系统、OCR专用视觉-语言模型和通用视觉-语言模型，发现不同评价标准下OCR排名会变化。

由清华大学和哥伦比亚大学研究人员推出的 AOS-Bench，将大语言模型编程智能体作为工作负载管理器进行评估，考察它们在共享 CPU 和内存限制下处理持续到来的任务流的能力。研究发现，单个任务上的成功并不能延续到流式场景中，而且简单的固定并发策略往往能达到与复杂的智能体管理策略相当的效果。

对五个公开的 EEG 基础模型和一个内部开发的 JEPA 风格模型进行的受控评估表明，随机初始化、频带功率基线以及通过验证集选择的探测层，会显著改变在睡眠、情绪和运动想象基准测试中报告的预训练增益。

这篇 NeurReps 研讨会扩展摘要评估了预训练的 LeWorldModel 是否保留了局部动作几何结构，通过 Gram 矩阵衡量其在 Reacher 和 OGBench Cube 上不同扰动尺度下的动作敏感性，发现小尺度下存在显著的方向性差异，并建议针对不同尺度分别进行评估。

VibeVideoBench 引入了一个包含 239 项任务的基准，用于评估通过编写渲染代码来生成视频的多模态智能体，研究发现 GPT-6 Astra 和 Claude Opus 5.5 领先，但时间管理失误导致了大多数视频未能交付。

Simon Willison 发布了一份研究报告，评测了 webframe——这是 Jeff Lindsay 开发的一款轻量级 Go 工具，可在无头系统 Web 视图中像程序一样运行网页。研究发现它速度很快，性能可与 shot-scraper 相媲美，但也存在一些不足，如 CSP 失败和缺少 HTTP 元数据等问题。

本文提出了一种新方法，用于衡量大语言模型智能体是否已内化公共技能中心中的技能，并指出，基于增益的退役规则无法区分已内化的技能与尚未覆盖的技能。该方法采用基于探测任务的无辅助评分方式，并通过跨模型验证进行检验；同时发布了1,251项技能及其在四个模型上的任务数据。

DMAIC-Bench 提出「自我克制」（self-restraint）能力评测，包含 15 个工业案例共 97 个任务及配对反事实变体，发现 13 个模型在 NO-GO 决策上的执行路由准确率平均仅 19%，远低于 GO 决策的 92%。

SWE-Shift 是一个评估编码智能体在执行过程中遭遇环境、依赖与需求变化时表现的新基准，包含120个场景和12类变化。在评测的17个编码智能体系统中，变化条件下的成功率均低于无变化条件，GPT-6 Astra 从 67.35% 骤降至 24.79%。

PersonaScienceBench 推出了一项涵盖四个科学领域、共 200 项任务的基准，用于评估 AI 智能体如何与具有不同角色特征的模拟研究人员协作，同时衡量交互质量和任务完成情况。

SCI-AGENT-EXAM 是一个面向工作流的基准测试，包含由专家精心筛选的 120 项任务，涵盖 11 个科学领域和 7 类研究任务，采用结合程序化验证与基于 LLM 的评判的混合评估方案，对 LLM 智能体进行评估。对 10 个前沿智能体的实验表明，GPT-6 Astra 以 80.9 的综合得分领先，但仅有 26% 的运行超过 0.95 的成功阈值，揭示了显著的能力与稳定性差距。