evaluation

OR-License 是一个端到端基准，评估 LLM 智能体能否直接从真实客户原始材料中解决运筹优化问题；结果显示部分模型目标质量很高，但没有一个达到专家级的可行性与部署调整后质量。

SlopCodeBench 的 10/2026 更新显示，Opus 5.5 与 Astra 在整体表现中领先，而 xhigh 被认为存在负面影响。该基准通过逐步披露功能检查点、让模型在继承同一代码库的多阶段挑战中工作，更贴近真实软件开发流程。

BotGauge 在 Product Hunt 上正式发布，作为 AI 智能体的可靠性与信任层，提供自适应红队攻击、评测、全链路追踪回放及生产环境监控，在用户发现问题之前提前捕获安全与行为故障。

该推文介绍了一项关于自我改进智能体的研究，将运行框架的自我修改方法映射为进化算法，并提出准入规则：只有在全新的独立任务上以一定幅度超越当前版本时，才接受修改，以防止过拟合与技能遗忘。

Artificial Analysis 推出 AA-Robotics v0.1 研究预览基准，评测前沿语言模型通过编码代理直接控制 6 轴机器人手臂完成 8 项桌面操作任务的能力。GPT-6 Astra 以 69 分居首，但目前速度与成本仍远逊于人类基线（约两个数量级）。

帖子讨论AI实验室面临合成数据过剩、却极度缺乏真实世界失败日志数据的困境，指出能捕获并利用失败数据的玩家将掌控AI评估层，形成真正的护城河。

论文提出 LePhilBench 基准，用于评估大语言模型的法律哲学推理能力，包含法理学画像与法理学感知的判决预测两项任务，测试集由 220 份美国最高法院判决构成，并由法律专业标注者生成 9,240 条法律哲学标签。

乔治城大学的语言学研究人员提出了 PropAlign，一种基于多篇摘要的命题显著性分级评估方法，并发布了 PropAlignBank 数据集，其中包含超过 3.5 万个命题的 13.8 万条对齐关系。他们的研究表明，从摘要中推导出的显著性指标比模型直接作出的判断更具一致性，而融合语言学特征的模型集成方法能够接近人工标注的质量。

该论文提出了一个以用户为中心的审计框架，用于区分基准内容的贡献者（源用户）与评估结果所代表的群体（目标用户），并在16个评估资源上发现美国中心化惯例占据主导、文档中普遍存在源-目标用户语境差距，且评分指标会显著影响性能衡量。

该论文对八个闭源和开源大模型在英文与孟加拉语XL-Sum测试集上的零样本抽象摘要能力进行了标准化评测，结合词法、语义指标、事实性验证和LLM-as-a-Judge评估，发现英文表现优异并不自动迁移到低资源语言，且不同评估方法产生不同的模型排名。

该论文提出 FlowSpec 规范驱动的方法，微调一个 90 亿参数模型，使语音客服代理能够遵循从未见过的受监管催收流程，合规检查率从 67–71% 提升至 93–100%。

该论文提出了一种名为"语义重构博弈"的免训练评估方法，用于更准确地评估 LLM 越狱攻击的成功率（ASR）。研究发现仅更换评判 LLM 就可导致 ASR 报告值相差高达 82 个百分点，而新方法通过将合规性判断分解为受限语义比较，显著降低了相对于人工标注的平均误差。

本文介绍了 TasteBench，这是一个以专家评判为金标准的成对比较基准，用于衡量视觉语言模型（VLM）在视觉、品牌、图书和科技领域的“品味”，同时提出了一套控制方案，用于量化并校正位置偏差、词汇泄漏和难度上限等评估伪差。

DSABench 提出了一个评估多数据库智能体源发现、协调与执行能力的基准，包含815个人工审核任务，发现当前模型在多数据库工作流中的整体成功率仍然很低（最高约17%），凸显了跨库信息传递的挑战。

Scale AI 与 Data Machines 推出 MA-Bench 基准，通过军事任务分析场景评估语言模型在不完整、矛盾信息下的操作规划判断能力；20 个前沿模型中最佳仅答对 62% 的评分项，最弱环节是需要推断的判断。

该论文提出 SRCoD，一个结构-响应协同校准的框架，用于在条目级别诊断多模态基准的模态依赖性，识别可通过单一模态或答案规律作答的捷径题目。实验表明 SRCoD 在基准精化验证和人工标注验证两种协议下均优于现有基准诊断方法，代码与数据已开源。

ACED-Bench 提出了一项神经符号基准，将自然语言科学情境与隐藏的概率图模型相结合，以评估大语言模型智能体能否在 180 项核心任务和一套包含 150 道题的资格测试中，主动设计实验、收集因果证据并做出正确的因果决策。

研究在 CTI-REALM 安全检测规则生成基准上评估了 26 个模型（19 个开放权重、7 个闭源），发现给予足够交互轮次时，开放权重模型能以不到十分之一的成本匹配最强闭源模型。作者还指出基准的消息轮次上限是混淆因素，并提出按工作流阶段路由到不同模型的建议。

LHTB 2.0 介绍了一个扩展的长时程终端基准，包含 77 个跨 13 个领域的任务，通过自动化任务构建流水线和密集进度阶梯来衡量 AI 代理在长达三小时工作流中的持续进展，GPT-6-astra 以 0.69 的密集平均奖励领先。

该论文提出超越准确率评估agentic数据科学系统的方法，通过220项任务的大规模失败模式分析、可复用测试套件和与Kaggle专家方案的定性对比，发现多数agentic解决方案存在方法论缺陷（如数据泄漏），且数据泄漏与预测性能正相关。