标签
Real World VoiceEQ 是一个新基准，用于评估语音AI的拟人化质量，基于超过一百万的人类评分，在真实世界条件下评估语音识别、合成和理解的模型。
一项对比文学作品中人工翻译与AI翻译的研究表明，虽然机器翻译被视为“还行”，但读者仍因其沉浸感和清晰度更偏爱人工翻译。自动指标无法捕捉读者偏好。
作者称赞GLM-5.2（一个MIT开源权重模型）在人类评估基准中表现出色，声称其能与Claude等最佳闭源模型相媲美。
本探索性研究在NSCLC生物标志物任务中使用多模型人类评估，评估将AI代理与医学研究技能包相结合是否能提高转录组研究分析输出的质量（与原生AI相比）。结果显示有方向性但无统计显著性的改善，强调了进行更大规模、更稳健评估的必要性。
本文介绍了RQ-Bench，一个用于评估LLM判断科学研究问题新颖性的基准。研究发现，LLM裁判一致认为生成的问题比人类专家认为的更新颖，这引发了对使用LLM进行科学新颖性评估可靠性的担忧。
本文通过将真实人类重新引入评估循环，研究LLM个性化的有效性，揭示了在个性化管道的每个阶段人类判断与LLM输出之间的系统性差距，并强调了合成数据和LLM评判的局限性。
本文提出了一种两阶段抽样设计，其中LLM评估用于增强而非替代人工评分，并利用缺失数据文献中的双重稳健估计量，提供了确定人工和LLM评审样本量的指导。
对 TranslateGemma-12b 翻译结果的人工审核显示，71% 被自动指标评定为合格的片段实际上存在错误，凸显了仅依赖自动指标评估多语言翻译质量时的显著不足。
# 对抗游戏提高语言模型输出的可读性 来源: [https://openai.com/index/prover-verifier-games-improve-legibility/](https://openai.com/index/prover-verifier-games-improve-legibility/) 确保语言模型生成可理解的文本对于提高其实用性至关重要，尤其是在处理复杂任务（如解决数学问题）时。我们发现，当我们仅针对获得正确答案来优化强大模型的问题求解过程时