标签
Cartesia 推出了 Managed Agents，这是一个端到端的企业级语音智能体平台。通过将级联语音模型与智能体运行框架作为一个整体系统协同设计，该平台在 Artificial Analysis 的 Speech Agent Arena 和 ServiceNow 的 EVA-Bench 的人类偏好盲评排名中均位居榜首。
该论文批判了传统机器翻译评估方法（MQM、ESA）的局限，提出了RATE（Refined Assessment for Translation Evaluation）协议和由专业语言学家标注的高质量英俄翻译评估数据集，发现SOTA机器翻译系统在准确度上可能已超越人类翻译，但在流畅度上仍存在差距。
据报道，Claude Opus 5.5 创作了一首双簧管协奏曲，60% 的听众认为它出自人类之手，这一误判率超过了同一测试中亨德尔（58%）和维瓦尔第（43%）真实作品被判为人类创作的比例。
本文评估了大语言模型在MQM和ESA两种评价框架下、涵盖70个语言对以及WMT23/WMT25数据集的机器翻译质量评估中替代人类标注员的能力，发现无论人类还是大语言模型在许多场景下仍不可靠，并提出人机协作的标注流程。
该论文从心理测量学视角评估 LLM-as-a-Judge，使用 Many-Facet Rasch 模型将评分分解为潜在质量、评分者严苛度与残差难度，发现人类与 LLM 在汇总对齐之外仍存在明显的残差难度结构错配。
本文探讨了当AI也创建验证工具时，验证AI编写代码的挑战，强调人工评估是瓶颈，以及中美实验室之间训练数据的战略重要性。
介绍 Human Bench 3.0，一个用于评估 AI 系统与人类表现对比的基准，Humanity-2 AI-0 可能表示特定的分数或版本。
本文提出信息满意度作为以读者为中心的摘要评估维度，指出当前指标未能捕捉用户特定的信息需求，且与人类判断的一致性较差。
本文介绍了 EuroExec，这是一个用于评估前沿大语言模型在开放式欧洲高管决策任务上表现的人类专家基准。研究发现，最强的模型仅能解决 56.9% 的任务，远低于专家撰写的参考答案，凸显了现实世界开放式问题解决能力的差距。
本文将多模型人类评估形式化为多臂老虎机设置中的最佳臂识别问题，自适应地分配标注努力以聚焦于有竞争力的模型，并提高排名区分度。
FriendBench 是一个新的基准测试，用于评估人类和多模态大语言模型是否能够从一段20秒的破冰对话视频片段中推断出两个人是熟人还是陌生人。结果表明，最佳模型在准确率上与人类相当，但在偏差上有所不同，并且只有人类能从更丰富的视觉行为中受益。
本文通过人工评估对跨度引导和无引导的文本去毒化进行了受控比较，发现存在一种权衡：当保留原始立场很重要时，跨度引导的重写更受青睐；而无引导的重写则因更彻底的缓解而更受欢迎，尤其是在较轻度的毒性上。研究还将自动评估器视为诊断工具，而非替代人工判断。
介绍对比错误跨度标注（cESA），这是一种同时对多个翻译进行人工评估的协议，与标准方法相比，减少了标注时间和噪声。
一项针对10个前沿大语言模型、涵盖62个问题的大规模人类评估发现，所有模型都表现出响应漂移，其中大多数模型收敛到78-81%的偏差上限，而两个模型实现了较低的偏差。漂移程度因领域和问题而异，自动指标几乎无法解释人类判断，这凸显了人类评估的必要性。
Real World VoiceEQ 是一个新基准，用于评估语音AI的拟人化质量，基于超过一百万的人类评分，在真实世界条件下评估语音识别、合成和理解的模型。
一项对比文学作品中人工翻译与AI翻译的研究表明，虽然机器翻译被视为“还行”，但读者仍因其沉浸感和清晰度更偏爱人工翻译。自动指标无法捕捉读者偏好。
作者称赞GLM-5.2（一个MIT开源权重模型）在人类评估基准中表现出色，声称其能与Claude等最佳闭源模型相媲美。
本探索性研究在NSCLC生物标志物任务中使用多模型人类评估，评估将AI代理与医学研究技能包相结合是否能提高转录组研究分析输出的质量（与原生AI相比）。结果显示有方向性但无统计显著性的改善，强调了进行更大规模、更稳健评估的必要性。
本文介绍了RQ-Bench，一个用于评估LLM判断科学研究问题新颖性的基准。研究发现，LLM裁判一致认为生成的问题比人类专家认为的更新颖，这引发了对使用LLM进行科学新颖性评估可靠性的担忧。
本文通过将真实人类重新引入评估循环，研究LLM个性化的有效性，揭示了在个性化管道的每个阶段人类判断与LLM输出之间的系统性差距，并强调了合成数据和LLM评判的局限性。