benchmark

Claude Opus 5.5 在 SimpleBench 基准测试中取得了 88.4% 的最高分，表明其在 AI 评估中具有卓越性能。

一条推文建议使用Gemini 3.8 Flash进行多模态理解，并引用了一个视觉测试，该测试比较了AI模型从绘画中识别人物的能力。

作者分享了长时间运行的Django基准测试中学到的教训，强调了在评估工作流程稳定性方面的修复，以及更新后的结果，显示Flash Next是表现最佳的模型，现在推理努力级别得到了正确评估。

Fable 5.1 和 Astra 这两款AI模型在 Mensa Norway 智力测试中均获得满分，展现了其卓越的推理能力。

FWBench 引入了一个基准，用于评估语言模型如何选择和使用时间序列预测来做出成本约束决策，并在电力和共享单车租赁数据集上比较托管与本地配置，同时由 GPT-6 Astra 实现高效的预算使用。

论文介绍了Polymer Benchmark 2026，这是一个开放数据集，旨在对聚合物性能预测中的机器学习方法进行基准测试，涵盖多种架构和性能。

本文介绍Reachability-Induced Optimization (RIO)，主张人工智能系统中的全局优化声明应基于实际可达区域，并提供理论结果和基准数据以支持此框架。

本文提出了一种检索策略，用于过滤大语言模型驱动的自主网络智能体中的无关HTML内容，从而提升其在WebArena等基准测试上的表现。

本文介绍了NAF-Bench，用于研究大型语言模型对指定否定语义的遵守情况。研究发现，像o4-mini这样的前沿模型表现良好，而开源模型则滞后。建议通过求解器委托或微调来改进。

本文介绍了 FakeContext-bench，用于评估大型语言模型区分上下文信息和事实知识的能力，并提出了 Jurisdiction In-Context Learning (J-ICL) 以增强上下文学习性能和对误导性上下文的抵抗力。

MolDesignBench是一个新的基准测试，用于评估基于场景的分子设计中的LLM智能体，包含2000个具有隐式和显式约束的实例，揭示了当前前沿的LLMs成功率较低，尤其是在推理隐式约束和检测不可行性方面。

PRISM-VLM 是一个多维度鉴别性基准，评估紧凑型视觉语言模型在七个维度上的表现，包括任务质量和行为鲁棒性，与单维度基准相比，能提供更可靠的区分和洞察。它旨在发布一个开放流程，供社区改进AI评估方法。

PotARCin是一个多维度基准，它扩展了ARC，用于评估五个维度上的抽象推理技能，表明标准评估可能无法完全捕捉AI模型的真实能力。

论文介绍了TACT，一个用于评估全双工口语对话模型中话轮转换的基准，它使用基于意图条件的连续评分来替代二元规则，展示了与人类判断更好的一致性。

本文提出RoPA Manager，一个使用混合检索和本地部署大型语言模型的自动化系统，用于提取处理活动记录，并在越南语基准上进行了评估。

本文提出CAVEAT基准，用于评估激励错位环境中的计算机使用代理，揭示代理常无法维护用户目标，并建议通过干预措施增强其鲁棒性。

本文介绍UGTPhon，一个针对用户生成文本字音转换的基准，并提出一种组合方法，通过利用标准形式提升性能。

本文提出了一种方法来估计基准暴露对AI模型性能的因果效应，超越传统的重叠技术以实现更稳健的评估。

本文介绍了一个用于在法律文件中分类解释准则的句子层面基准，评估了 LLMs 在 German Federal Constitutional Court 数据集上的表现。

本文介绍了一种生成基准，用于评测大型语言模型在Hindi、Tamil和Korean文化特异性亲属称谓上的表现，揭示了识别与生成能力间的显著差距。