标签
该论文介绍了 Solver2System,这是一个包含多种表示形式、受控损坏和词汇扰动的偏微分方程(PDE)求解器数据集,用于评估八个开放权重模型中的大语言模型能否通过跨表示一致性和物理无效性检测,还原底层物理系统。
该论文介绍了 TRIDENT,一种基于往返翻译、包含三种分类变体的框架,以及 SHAKTI,一个用于检测 AI 生成的印地语文本的大规模基准数据集,并在多种体裁、大语言模型、对抗性设置和七种语言中进行了评估。
VETNET 是一个由持续更新的基准数据集和评估框架组成的生态系统,旨在通过标准化的高质量数据和多机构协作,加速人工智能驱动的兽医学与动物科学创新。它致力于解决兽医人工智能领域相较于人类医学进展所呈现的碎片化问题。
Fig 与 Georgia Tech 的技术报告评估了 Astra、Opus 5.5 等前沿模型在网页自动化与物理任务(操作、装配、工业流程、驾驶)上的表现,发现模型性能呈“锯齿状”分布,没有明确的性能领先者,并发布 item 级结果数据集 RIDGE。
介绍了一种名为Uncheatable Eval的动态基准测试方法,该方法利用压缩率评估语言模型性能,并能有效缓解数据污染问题。
本文提出了Tempered Evidence Fusion (TEF),一种用于长文本价值测量的方法,该方法通过信息增益对句子级别的LLM判断进行加权,并介绍了用于评估的MIND基准数据集。
BioPhys-Bridge引入了一个基准数据集,用于评估语言模型在生物物理学中基于证据的科学推理能力,重点关注具有定量和机制基础的跨学科任务。
FINESSE是一个基于代理的模拟框架和基准数据集,用于生成合成的多模态金融事件序列,解决数据稀缺问题,并支持欺诈检测和余额预测等任务。
本文介绍了DasanCallDial,一个针对对话级ASR错误校正的大规模韩语基准数据集,并提出了DCSC框架,在纯文本后编辑中达到了最先进的性能。
STAIR引入了一种结构感知检索系统,利用目录增强大语言模型的文档检索,在新的SearchTome基准数据集上实现了高性能。
本文研究了多语言大语言模型在印地语和马拉雅拉语中对语义保持扰动的结构敏感性,结果显示在数学推理性能上有显著下降,并引入了IndicReStruct基准进行评估。
本文介绍了一个针对孟加拉语习语的基准数据集,并评估了近期大型语言模型在习语相关任务上的表现,揭示了不同模型在性能上存在显著差异。
本文介绍了Chiaro,一个基于评价理论的新基准数据集,用于对比情感识别,其中两个个体从共享事件中体验到对立的情感。它评估了七个LLMs和四个情感分类器,揭示当前模型的表现不及人类。
OmniPhys 是一个大规模的多模态基准测试,专注于物理理解与生成,涵盖了从中学到大学级别的问题,源自中国教育语料库。其目标是评估并推动多模态大型语言模型在科学领域的发展。
本文介绍了面向古典梵语的基于语境词汇表生成,这一任务涉及从诗句-翻译对中恢复梵语短语并产生翻译驱动的含义。研究从印度教文本构建了一个基准,并评估了多种AI模型,发现指令微调能提升性能,而形态建模被确定为一个关键挑战。
本文介绍了 FaceVid-Forensics-100K,一个带有细粒度标注的大规模深度伪造视频数据集,并提出了一个多智能体取证推理框架(ARGUS),该框架使用四个专门的专家智能体和一个裁判智能体,在深度伪造检测上优于闭源模型。
一种新的混合专家方法,用于从IMU传感器数据重建手写轨迹,该方法针对触摸阶段和悬停阶段分别设计了独立的专家模型,并提供了一个新的公开基准数据集。
PhononBench-MP40 是一个基准数据集,包含超过46,000个源自Materials Project的晶体的声子稳定性标签和光谱,旨在评估工作流定义的声子稳定性并支持材料筛选。
本文介绍了一个包含1,516条经专家验证的孟加拉语句子的基准数据集,用于消解文化纠缠的同形词(既是名字又是普通名词的词语)。研究表明,大语言模型存在主导意义偏见,并提出了对比思维链提示和蒸馏方法来减少这种偏见。
介绍DECODEM,这是一个基准数据集,用于评估使用大型语言模型从法律文档中自动提取公司治理变量的方法,结果显示对许多条款具有高准确性。