@VikParuchuri: 结构化提取难以评估,大多数基准测试有偏差,或者评分/地面标准不佳。这就是为什么我们制作了 OmniE…

X AI KOLs Timeline 工具

摘要

OmniExtractBench 是一个新的基准测试,包含来自多个供应商的 620 份文档,旨在为结构化提取提供公平评估,突出显示 Datalab 和 Reducto 的顶级性能。

结构化提取难以评估,大多数基准测试有偏差,或者评分/地面标准不佳。 这就是为什么我们制作了 OmniExtractBench - 来自多个供应商(Datalab、Reducto、Extend、LlamaIndex)的 620 份文档,并实现公平评分。 @datalabto 和 Reducto 位居榜首。https://t.co/j5UBto7cvm
查看原文
查看缓存全文

缓存时间: 2026/09/17 12:26

结构化提取难以评估,现有大多数基准测试存在偏差或评分/标注标准欠佳。

因此我们推出了 OmniExtractBench——汇集多家厂商(Datalab、Reducto、Extend、LlamaIndex)共620份文档,并采用公平的评分机制。

@datalabto 与 Reducto 目前位列榜首。https://t.co/j5UBto7cvm

相似文章

ExtractBench:面向模式引导的企业文档抽取基准

Hugging Face Daily Papers

ExtractBench 是一个用于模式引导的企业文档抽取的新基准,在 4,869 页企业文档上评估值准确率、记录完整性、溯源性和成本。作者发现,商业 VLM 在处理长文档时表现不佳,而编码智能体虽然更准确但成本较高;LlamaExtract AgenticPlus 在所有指标上均领先。