benchmark-dataset

标签

Cards List
#benchmark-dataset

从求解器到系统:科学仿真中跨表征与执行的大语言模型推理

arXiv cs.CL ↗ · 3天前 缓存

该论文介绍了 Solver2System,这是一个包含多种表示形式、受控损坏和词汇扰动的偏微分方程(PDE)求解器数据集,用于评估八个开放权重模型中的大语言模型能否通过跨表示一致性和物理无效性检测,还原底层物理系统。

0 人收藏 0 人点赞
#benchmark-dataset

TRIDENT 和 SHAKTI:用于印地语 AI 生成文本检测的框架与基准

arXiv cs.AI ↗ · 2026-11-02 缓存

该论文介绍了 TRIDENT,一种基于往返翻译、包含三种分类变体的框架,以及 SHAKTI,一个用于检测 AI 生成的印地语文本的大规模基准数据集,并在多种体裁、大语言模型、对抗性设置和七种语言中进行了评估。

0 人收藏 0 人点赞
#benchmark-dataset

VETNET:构建基准数据集,推动人工智能驱动的兽医创新

arXiv cs.AI ↗ · 2026-10-15 缓存

VETNET 是一个由持续更新的基准数据集和评估框架组成的生态系统,旨在通过标准化的高质量数据和多机构协作,加速人工智能驱动的兽医学与动物科学创新。它致力于解决兽医人工智能领域相较于人类医学进展所呈现的碎片化问题。

0 人收藏 0 人点赞
#benchmark-dataset

Astra、Opus 5.5 等前沿模型在从网页浏览到机器人的 SoTA 智能体任务中表现出参差不齐的性能(32 分钟阅读)

TLDR AI ↗ · 2026-09-30 缓存

Fig 与 Georgia Tech 的技术报告评估了 Astra、Opus 5.5 等前沿模型在网页自动化与物理任务(操作、装配、工业流程、驾驶)上的表现,发现模型性能呈“锯齿状”分布,没有明确的性能领先者,并发布 item 级结果数据集 RIDGE。

0 人收藏 0 人点赞
#benchmark-dataset

Uncheatable Eval:基于动态压缩的语言模型评估方法

arXiv cs.CL ↗ · 2026-09-24 缓存

介绍了一种名为Uncheatable Eval的动态基准测试方法,该方法利用压缩率评估语言模型性能,并能有效缓解数据污染问题。

0 人收藏 0 人点赞
#benchmark-dataset

计数证据,而非句子:LLM判断的Tempered Evidence Fusion用于长文本价值测量

arXiv cs.CL ↗ · 2026-09-24 缓存

本文提出了Tempered Evidence Fusion (TEF),一种用于长文本价值测量的方法,该方法通过信息增益对句子级别的LLM判断进行加权,并介绍了用于评估的MIND基准数据集。

0 人收藏 0 人点赞
#benchmark-dataset

BioPhys-Bridge:基于物理的生物学研究中的跨学科科学推理基准

arXiv cs.AI ↗ · 2026-09-18 缓存

BioPhys-Bridge引入了一个基准数据集,用于评估语言模型在生物物理学中基于证据的科学推理能力,重点关注具有定量和机制基础的跨学科任务。

0 人收藏 0 人点赞
#benchmark-dataset

FINESSE: 一个用于多模态金融事件序列的基于代理的模拟器和基准数据集

arXiv cs.LG ↗ · 2026-09-14 缓存

FINESSE是一个基于代理的模拟框架和基准数据集,用于生成合成的多模态金融事件序列,解决数据稀缺问题,并支持欺诈检测和余额预测等任务。

0 人收藏 0 人点赞
#benchmark-dataset

利用细粒度错误校正优化咨询服务中的韩语语音识别

arXiv cs.CL ↗ · 2026-09-10 缓存

本文介绍了DasanCallDial,一个针对对话级ASR错误校正的大规模韩语基准数据集,并提出了DCSC框架,在纯文本后编辑中达到了最先进的性能。

0 人收藏 0 人点赞
#benchmark-dataset

STAIR(结构感知信息检索器):一种新颖的基于数据集和LLM的检索器,用于文档结构增强

arXiv cs.AI ↗ · 2026-09-04 缓存

STAIR引入了一种结构感知检索系统,利用目录增强大语言模型的文档检索,在新的SearchTome基准数据集上实现了高性能。

0 人收藏 0 人点赞
#benchmark-dataset

重排中迷失:语义保持扰动下多语言大语言模型的结构敏感性

arXiv cs.CL ↗ · 2026-09-04 缓存

本文研究了多语言大语言模型在印地语和马拉雅拉语中对语义保持扰动的结构敏感性,结果显示在数学推理性能上有显著下降,并引入了IndicReStruct基准进行评估。

0 人收藏 0 人点赞
#benchmark-dataset

大型语言模型对孟加拉语习语的理解程度如何?

arXiv cs.CL ↗ · 2026-09-04 缓存

本文介绍了一个针对孟加拉语习语的基准数据集,并评估了近期大型语言模型在习语相关任务上的表现,揭示了不同模型在性能上存在显著差异。

0 人收藏 0 人点赞
#benchmark-dataset

Chiaro情感:基于评价理论的对比情感基准

arXiv cs.CL ↗ · 2026-09-04 缓存

本文介绍了Chiaro,一个基于评价理论的新基准数据集,用于对比情感识别,其中两个个体从共享事件中体验到对立的情感。它评估了七个LLMs和四个情感分类器,揭示当前模型的表现不及人类。

0 人收藏 0 人点赞
#benchmark-dataset

OmniPhys:一个统一的多模态物理理解与生成基准测试,源自中国教育语料库

arXiv cs.CL ↗ · 2026-08-27 缓存

OmniPhys 是一个大规模的多模态基准测试,专注于物理理解与生成,涵盖了从中学到大学级别的问题,源自中国教育语料库。其目标是评估并推动多模态大型语言模型在科学领域的发展。

0 人收藏 0 人点赞
#benchmark-dataset

Padamitra: 面向古典梵语的基于语境词汇表生成

arXiv cs.CL ↗ · 2026-08-27 缓存

本文介绍了面向古典梵语的基于语境词汇表生成,这一任务涉及从诗句-翻译对中恢复梵语短语并产生翻译驱动的含义。研究从印度教文本构建了一个基准,并评估了多种AI模型,发现指令微调能提升性能,而形态建模被确定为一个关键挑战。

0 人收藏 0 人点赞
#benchmark-dataset

面向可泛化深度伪造视频检测的多智能体取证推理

Hugging Face Daily Papers ↗ · 2026-08-07 缓存

本文介绍了 FaceVid-Forensics-100K,一个带有细粒度标注的大规模深度伪造视频数据集,并提出了一个多智能体取证推理框架(ARGUS),该框架使用四个专门的专家智能体和一个裁判智能体,在深度伪造检测上优于闭源模型。

0 人收藏 0 人点赞
#benchmark-dataset

Mixture-of-experts用于从IMU传感器进行手写轨迹重建

arXiv cs.LG ↗ · 2026-07-30 缓存

一种新的混合专家方法,用于从IMU传感器数据重建手写轨迹,该方法针对触摸阶段和悬停阶段分别设计了独立的专家模型,并提供了一个新的公开基准数据集。

0 人收藏 0 人点赞
#benchmark-dataset

PhononBench-MP40:一个针对声子稳定性的光谱分辨基准数据集

arXiv cs.AI ↗ · 2026-07-28 缓存

PhononBench-MP40 是一个基准数据集,包含超过46,000个源自Materials Project的晶体的声子稳定性标签和光谱,旨在评估工作流定义的声子稳定性并支持材料筛选。

0 人收藏 0 人点赞
#benchmark-dataset

当名字不是名字:低资源大语言模型中文化纠缠的孟加拉语同形词的基准数据集与蒸馏推理

arXiv cs.CL ↗ · 2026-07-21 缓存

本文介绍了一个包含1,516条经专家验证的孟加拉语句子的基准数据集,用于消解文化纠缠的同形词(既是名字又是普通名词的词语)。研究表明,大语言模型存在主导意义偏见,并提出了对比思维链提示和蒸馏方法来减少这种偏见。

0 人收藏 0 人点赞
#benchmark-dataset

DECODEM: 通过增强方法从公司组织文档中提取数据

arXiv cs.CL ↗ · 2026-07-20 缓存

介绍DECODEM,这是一个基准数据集,用于评估使用大型语言模型从法律文档中自动提取公司治理变量的方法,结果显示对许多条款具有高准确性。

0 人收藏 0 人点赞
Next →
← 返回首页

提交意见反馈