标签
该论文提出了一种基于全概率定律的统计自一致性评测框架,通过二叉树分区、提示与聚合来检验LLM条件概率估计的一致性,发现前沿模型普遍存在违反一致性的问题,并揭示了细粒度子群体估计反而更贴近人类参考数据的'宏观谬误'现象。
CrisisBench 推出了一套保护隐私的危机咨询 AI 评估套件,包含 1,085 项单轮任务、1,185 个模拟患者大语言模型,以及一个经过校准、涵盖 23 个评估条目的大语言模型评判器。基于 GPT 的系统在回复层面的失误模式上仍与专业咨询师存在差异,而检索增强生成在多轮评估中得分最高。
语音 AI 的下一次突破,或许将来自对模型评估方式的重新思考,而非评选出新的最强模型。Voice Arena 的图灵 TTS 基准测试衡量的,正是人类听众将 AI 语音误认为真人语音的频率。
该论文提出 Adversarial Surface-Form Robustness Dataset (ASRD),用四态评估框架对五个开源大模型在 2,100 个非规范形式提示(表情符号、Leetspeak、编码封装、隐形 Unicode 等)下的安全表现进行评测,揭示了表情符号几乎不影响理解而编码类输入导致高理解失败率等规律。
论文提出了 TestPrism 基准,包含 300 个测试任务和 3000 个候选实现,表明单一参考的评估方式会高估测试质量(联合成功率仅达到 28%,而单一参考成功率为 59.67%)。同时提出了 TestHelix,通过异构合成、同伴交叉验证和递归自我改进,将联合成功率提升了 8.67 至 9.00 个百分点。
ArrivalBench 提出了一种评估方法:在对抗性重放调度(延迟、重复、乱序到达的记录)下重新执行 agent 生成的数据管道,结果发现,经单次执行基准认证的管道中有 7%~79% 在重新运行时会静默出错。
XiangqiBench 是一个可执行的基准测试,用于对 LLM 智能体在中国象棋残局中的表现进行闭环评估:测量模型能否在必杀局面下,将优势转化为经引擎防守方验证的胜局,并揭示了静态着法发现能力与实际赢棋表现之间的巨大差距,涵盖 12 个前沿大模型。
SlideLab引入了一种免训练的多智能体框架,可从研究论文生成以受众为中心的科学演示文稿,该框架在人类偏好研究中超越了现有系统,并提出了用于逐张幻灯片评估的ConfArena系统。
本文介绍语料库任务复杂度(CTC),以刻画任务难度如何随语料库规模扩展,呈现高CTC任务,并发布CTC-Bench,表明高CTC任务对长上下文语言模型更具挑战性。
本文提出一个用于越南劳动法跨语言法律问答的双语评估套件,评估检索、翻译和验证器引导纠正,以提高答案忠实度并解决不支持的主张。
本文介绍了一个综合基准测试,用于评估大型语言模型在OCR噪声下进行文档键值提取的能力,揭示了显著的性能下降,并强调了需要联合优化OCR质量和LLM推理。
本文扩展了FLORES+基准测试,增加了针对莫桑比克希昌加纳语、尼扬贾语和塞纳语的评估集,表明参考译文的变化对机器翻译评估分数有显著影响。
Sci-MMR 是一个用于评估多模态代理中多步骤证据基础科学推理的基准,揭示了答案准确率超过证据恢复率超过20%的差距。
本文介绍了DuplexSpeechBench-IFEval,一个用于评估全双工语音代理中隐式指令遵循的基准测试,包含1,038个测试用例,涵盖八个角色和五种协议,以评估实时语音系统对显式行为与角色隐含行为的遵循程度。
TabScope是一个用于表格问答的问题自适应框架,它根据问题类型动态选择局部推理或全表推理,通过操作感知分解和新基准测试提高了在长表格上的性能。
Garry Tan 发布了针对gbrain的新评估。gbrain是一个面向AI代理的开源检索层,展示了在记忆读写方面的最新性能,且无需LLM-in-loop检索。
本文介绍了PACEShop,一个基准数据集,以及PACEJudge,一个用于评估个性化、可操作、组合式和基于证据的购物助手的评判协议,旨在解决当前评估方法中的空白。
本文提出了一个统一基准,用于比较基于大纲的大型语言模型长文本生成框架,独立评估大纲,发现性能随框架与粒度匹配度变化,支持将大纲与写作阶段解耦。
FrontierChallenge是一个用于评估端到端科学工作流的跨域基准,揭示了尽管部分得分很高,前沿AI模型仅完成20%,强调了需要更好地评估完整任务交付。
本文提出了一种针对扩散模型图像编辑的层次化分类法和密集监督训练策略,利用包含1200万编辑对的大型数据集和细粒度评估基准来提升模型性能。