标签
本文提出 Multi-Label Agreement（MLA），这是一种用于评估多标签标注任务中标注者间可靠性的灵活框架，采用基于成对 Hamming 一致性的度量方法，并支持多种归一化选项，同时提供了相应的 Python 实现。
本文将柏拉图表征假说拓展至机器人领域，提出感觉运动对齐（S²）作为一种离线代理指标，用于衡量模型的感觉表征与末端执行器轨迹之间的重叠程度，并证明其在视觉-语言-动作模型（VLA）、世界动作模型（WAM）及真实机器人策略中均与下游任务成功率相关。
该论文提出一个多粒度评估框架，结合字符错误率、音节错误率和分词错误率，评估藏语语音识别在多方言与不同适配策略下的表现，发现低字符错误率并不总带来更优的高层级指标，且 LoRA 适配在测试范围内仍逊于全量微调。
本文将基准评测形式化为难度上的经验测度，识别出测度错配与覆盖缺口等失效模式，并提出了诊断指标以及 BenchFill——一种面向难度的目标化题目重写算法，同时在 7 个领域、25 个主流基准上进行了分析。
OpenAI 探讨了 g-mean² 之外用于衡量模型可监控性的补充指标，针对结果、过程与干预三类评估，分析任务混合差异与部署时控制使用场景对单一监控性数值的局限。
文章质疑具身AI的进步速度是快于还是慢于语言模型，指出机器人大多通过演示而非基准测试来被评判，并探讨什么样的公平指标可以将物理AI的进步与文本和推理能力的进步进行比较。
该论文提出了一种基于回归的元评估框架，用于评估多语言风格个性化文本生成中的自动指标，发现经过校准的简单字符串和嵌入指标在40种评估设置下可媲美LLM-judge。
论文提出 semCER，一种利用 LLM 评审按严重程度对字符编辑加权的 OCR 评估指标，相比标准 CER 更能贴合人类评分，并在英、越、中等 16 种语言上验证有效，同时发布了 6100 万条已评分编辑数据集与蒸馏打分模型。
MFVSR 提出一个大规模、多风格的视频字幕移除基准，通过空间解耦的细粒度协议评估修复保真度、区域保持性、时间一致性与可靠性，涵盖3000对视频和16种语言。
微软发布 ThinkingBox-Bench，包含 507 个状态化企业工作流任务，每个任务独立运行 20 次并以终端数据库状态评分，揭示 pass@20 与 all-20 排名几乎完全相反，且 67% 的失败轨迹在完成式代理下会被误判为成功。研究显示发现能力与可重复性对模型的排名差异巨大，Kimi-K3 覆盖最广但重复率低，Claude Opus 5 重复稳定性更高。
一项兰卡斯特大学的研究以预训练Transformer模型对超长英国金融年报（FNS 2020数据集）上的摘要方法进行基准测试，对比了多种评价指标，提出了新的BRUGEscore指标（ROUGE-2与BERTscore的调和平均值），并通过统计显著性检验与对抗性扰动分析验证了实验结果。
本文讨论了如何针对特定生产用例对LLM进行基准测试，提出了一套全面的评估流程，包括任务特定指标、质量与成本的权衡，以及失败案例分析。
本文介绍了WildfireSpreadBench，用于基准测试野火蔓延预测模型，揭示了评估指标如AP与F1可能导致不同的模型排名，并影响操作适用性。
本研究对跨职业机器翻译评估指标的性别偏见进行基准测试，揭示男性化翻译倾向于获得更高分数，且偏见因语言和评估者而异。
本文诊断了AI智能体中次轮评估指标与自主工作流执行成功率之间的差距，表明监督微调虽然提升了轮次级别的性能，却未能增强端到端的工作流成功率。
本文批判了评估递归语言模型的常规深度截断方法，并引入了深度控制协议（DCP）以解开并隔离影响深度利用的因素，从而提升评估精度。
本文论证三项独立的大语言模型可靠性研究发现，均指向需要实现校准弃权能力——即模型在不确定时能够恰当地拒绝回答，并提出了三重评分、校准指标等评估改革方案以填补这一空白。
本文描述了一种在机器翻译评估中构建伪参考的方法，无需人工参考，利用多个翻译模型、质量估计和GPT-5.5后编辑来提高选择准确性。