evaluation

OR-License 是一个端到端基准，评估 LLM 智能体能否直接从真实客户原始材料中解决运筹优化问题；结果显示部分模型目标质量很高，但没有一个达到专家级的可行性与部署调整后质量。

SlopCodeBench 的 10/2026 更新显示，Opus 5.5 与 Astra 在整体表现中领先，而 xhigh 被认为存在负面影响。该基准通过逐步披露功能检查点、让模型在继承同一代码库的多阶段挑战中工作，更贴近真实软件开发流程。

BotGauge launches on Product Hunt as a reliability and trust layer for AI agents, offering adaptive red-team attacks, evals, full-trace replay, and production monitoring to catch security and behavioral failures before users do.

该推文介绍一项关于自我改进智能体的研究，将 harness 自改方法映射到进化算法，并提出准入规则：只有在全新独立任务上以一定幅度超越当前版本时才接受编辑，以防止过拟合与技能遗忘。

Artificial Analysis 推出 AA-Robotics v0.1 研究预览基准，评测前沿语言模型通过编码代理直接控制 6 轴机器人手臂完成 8 项桌面操作任务的能力。GPT-6 Astra 以 69 分居首，但目前速度与成本仍远逊于人类基线（约两个数量级）。

帖子讨论AI实验室面临合成数据过剩、却极度缺乏真实世界失败日志数据的困境，指出能捕获并利用失败数据的玩家将掌控AI评估层，形成真正的护城河。

论文提出 LePhilBench 基准，用于评估大语言模型的法律哲学推理能力，包含法理学画像与法理学感知的判决预测两项任务，测试集由 220 份美国最高法院判决构成，并由法律专业标注者生成 9,240 条法律哲学标签。

Georgetown linguistics researchers propose PropAlign, a multiple-summary-based method for graded proposition salience evaluation, and release PropAlignBank, a dataset with 138K alignments of 35K+ propositions. They show that summary-derived salience metrics are more consistent than direct model judgments, and that model ensembles with linguistic features approach human annotation quality.

该论文提出了一个以用户为中心的审计框架，用于区分基准内容的贡献者（源用户）与评估结果所代表的群体（目标用户），并在16个评估资源上发现美国中心化惯例占据主导、文档中普遍存在源-目标用户语境差距，且评分指标会显著影响性能衡量。

该论文对八个闭源和开源大模型在英文与孟加拉语XL-Sum测试集上的零样本抽象摘要能力进行了标准化评测，结合词法、语义指标、事实性验证和LLM-as-a-Judge评估，发现英文表现优异并不自动迁移到低资源语言，且不同评估方法产生不同的模型排名。

该论文提出 FlowSpec 规范驱动的方法，微调一个 90 亿参数模型，使语音客服代理能够遵循从未见过的受监管催收流程，合规检查率从 67–71% 提升至 93–100%。

该论文提出了一种名为"语义重构博弈"的免训练评估方法，用于更准确地评估 LLM 越狱攻击的成功率（ASR）。研究发现仅更换评判 LLM 就可导致 ASR 报告值相差高达 82 个百分点，而新方法通过将合规性判断分解为受限语义比较，显著降低了相对于人工标注的平均误差。

The paper introduces TasteBench, an expert-gold pairwise benchmark for measuring 'taste' in VLMs across visual, brand, book, and tech domains, along with a control protocol that quantifies and corrects evaluation artifacts like position bias, lexical leakage, and difficulty ceilings.

DSABench 提出了一个评估多数据库智能体源发现、协调与执行能力的基准，包含815个人工审核任务，发现当前模型在多数据库工作流中的整体成功率仍然很低（最高约17%），凸显了跨库信息传递的挑战。

Scale AI 与 Data Machines 推出 MA-Bench 基准，通过军事任务分析场景评估语言模型在不完整、矛盾信息下的操作规划判断能力；20 个前沿模型中最佳仅答对 62% 的评分项，最弱环节是需要推断的判断。

该论文提出 SRCoD，一个结构-响应协同校准的框架，用于在条目级别诊断多模态基准的模态依赖性，识别可通过单一模态或答案规律作答的捷径题目。实验表明 SRCoD 在基准精化验证和人工标注验证两种协议下均优于现有基准诊断方法，代码与数据已开源。

ACED-Bench introduces a neuro-symbolic benchmark combining natural-language scientific scenarios with hidden probabilistic graphical models to evaluate whether LLM agents can actively design experiments, gather causal evidence, and make correct causal decisions across 180 core tasks and a 150-question qualification set.

研究在 CTI-REALM 安全检测规则生成基准上评估了 26 个模型（19 个开放权重、7 个闭源），发现给予足够交互轮次时，开放权重模型能以不到十分之一的成本匹配最强闭源模型。作者还指出基准的消息轮次上限是混淆因素，并提出按工作流阶段路由到不同模型的建议。

LHTB 2.0 介绍了一个扩展的长时程终端基准，包含 77 个跨 13 个领域的任务，通过自动化任务构建流水线和密集进度阶梯来衡量 AI 代理在长达三小时工作流中的持续进展，GPT-6-astra 以 0.69 的密集平均奖励领先。

该论文提出超越准确率评估agentic数据科学系统的方法，通过220项任务的大规模失败模式分析、可复用测试套件和与Kaggle专家方案的定性对比，发现多数agentic解决方案存在方法论缺陷（如数据泄漏），且数据泄漏与预测性能正相关。