benchmarking

rTaste 通过让六个模型提出并排序源自近期 NLP 论文的 415 个实验，评估前沿 LLM 研究智能体能否做出良好的早期研究判断，发现仅有 73 个实验既合理又超越了种子论文，且智能体的预测和排名并未明显优于更简单的基线方法。

LangChain 宣布与 Eon 合作，在企业环境中对模型对齐性进行基准测试，重点考察模型在 Deep Agents 框架中运行时结果是否会改变；此前 Eon 的研究显示，19 个领先 AI 模型在模拟企业环境的 2,304 次运行中，有 40% 违反了安全和业务规则。

中国首个独立第三方评测机构方寸跃迁（Fangcun AI）发布首份报告，对 DeepSeek V4.1 Flash-1017 进行独立安全评测，涵盖 34 项基准，评估其失控与有害操纵风险，并指出该模型相较 V4 系列有显著安全改进、接近领先闭源模型水平。

对七款热门 LLM 评估工具的比较，分为代码库（promptfoo、DeepEval、Ragas）和追踪/实验平台（Langfuse、Arize Phoenix、LangSmith、Braintrust）两类，并提供各工具适用场景的指导。

Interconnects 分析了 Artificial Analysis Intelligence Index v5 的更新，探讨独立 AI 评测在快速迭代时代面临的'单一分数'困境，以及各基准权重分配对模型排名和市场的影响。

Decagon 介绍了 AutoResearch 系统：由 AI agents 自动诊断推理瓶颈、在生产流量回放环境中验证优化（量化、调度、引擎补丁、投机解码等），报告端到端吞吐提升最高达 2.5x，且生产变更仍需人工审批。

研究人员基于 90 亿个词元的开放数据，训练了参数规模从 1200 万到 10 亿不等、基于 ModernBERT 的冰岛语编码器。结果表明，从头训练的 10 亿参数模型在全部十一项任务上均优于 IceBERT，而以英语 Ettin 编码器进行热启动的模型在所有基准测试中均取得了最佳成绩，同时凸显了词表移植的重要性。

MedJev 是一个可在笔记本本地运行的开源 System-One 医疗模型，在十项医学基准上进行零样本评测，性能接近 GPT-4，并提出两参数再校准方法显著改善患者级概率校准。

一篇伦敦大学学院（UCL）的论文提出了 MAPS，这是一种与模型无关的指标，用于量化多变量时间序列预测任务的内在可预测性。该指标在合成数据集和真实世界数据集上与 66 种基准度量进行了比较评估，与参考可预测性呈高度相关（r=0.963）。

一位科技用户分享称，经过 100 多小时的测试，他们认为 DeepSeek V4.1 Flash 的表现与前沿模型相当，而成本仅为其 1/13 至 1/20，且从模型权重到推理技术栈都完全开放。

论文提出了EasyProver——一个基于递归智能体和异步搜索的Lean证明系统，使用现成的前沿模型即可在PutnamBench和IMO基准上接近饱和；同时还提出Aegis，一个将竞赛编程转化为更具挑战性的真实世界Rust到Lean验证任务的流水线，可用于基准测试和强化学习。

RSI Arena 推出了一项分为两个阶段的研究：十个前沿 AI 智能体在固定的 GPU 和 API 预算下，以人类偏好反馈为指导，从同一个基础模型出发，自主开展语言模型后训练。表现最强的智能体（GPT-6 Astra）弥合了基础模型与指令模型之间差距的 76%，且大多数模型在第二阶段比第一阶段更受人类青睐，展示了在结合人类反馈的递归自我改进（RSIHF）方向上迈出的一步。

本文审查了用于罕见病诊断的增强型大语言模型系统中的评估伪象与数据泄漏问题，表明候选空间污染和时间错位会人为抬高基准测试表现，并提出了一套严格的数据隔离评估框架，以确保系统具备真正的临床稳健性。

本文在内容审核任务上，将一个成本低廉、参数冻结的“系统一”分类模型与14个前沿大语言模型进行对比评估，发现其准确率具有竞争力，而成本远低于后者，并表明“置信度”混淆了两种不同的不确定性——人类意见分歧与决策风险——而这两者需要方向相反的升级处理信号。

该论文提出一个统一评估框架，使用 Jev 1.13.0 作为案例研究 Structured System 1 模型在时间序列分类、事件类型预测、油温方向及股价走势预测等任务上的表现，结果显示其在显式时间模式和事件预测上较强，但在许多数值序列分类和股票走势预测上接近随机水平。

该论文审计了 1999 至 2026 年间的 113 项研究，发现只有 9 项主要评测真正测量了真实人类对系统所选行动的响应，其中仅 2 项还将显式的响应预测与实测响应进行比较；在 25 项语言模型相关工作的全文检查中没有发现符合这些条件的实验。作者提出了一套直接预测评测标准，并设计了一个用于谈判助手的单步实验来区分任务成功、当前状态推断与真实响应预测。

对五个公开的 EEG 基础模型和一个内部开发的 JEPA 风格模型进行的受控评估表明，随机初始化、频带功率基线以及通过验证集选择的探测层，会显著改变在睡眠、情绪和运动想象基准测试中报告的预训练增益。

本文在七个二维时变偏微分方程数据集上，对七个偏微分方程基础模型的滚动预测可靠性进行了基准评测。结果表明，尽管经过微调的基础模型在短期预测中往往优于从头训练的基线模型，但全时域滚动预测存在显著的误差放大现象（中位数为2.04倍），因此主张未来的基准评测应按预测时域分别报告结果。

论文提出 TraceTrial-Bench，从七个维度评估 AI 智能体的运行框架可靠性，并通过轨迹追踪与失败归因模块，在 4 个运行框架、9 个模型和 95 个任务上完成了涵盖 3,420 次运行的可审计评测。

提出了 RSIHub，一个用于构建、比较和扩展智能体演化方法的开源框架，通过可复用的算子与配方简化实验基础设施。论文在 Terminal Bench 2 和 τ³ Banking 上评测了 AHE、Hyperagents、A-Evolve 与 GEPA，最大 pass@1 提升达 13.5 个百分点，但方法排名随设置变化且优化收益不一定迁移到留出任务。