@VikParuchuri: 结构化提取难以评估,大多数基准测试有偏差,或者评分/地面标准不佳。这就是为什么我们制作了 OmniE…
摘要
OmniExtractBench 是一个新的基准测试,包含来自多个供应商的 620 份文档,旨在为结构化提取提供公平评估,突出显示 Datalab 和 Reducto 的顶级性能。
查看缓存全文
缓存时间: 2026/09/17 12:26
结构化提取难以评估,现有大多数基准测试存在偏差或评分/标注标准欠佳。
因此我们推出了 OmniExtractBench——汇集多家厂商(Datalab、Reducto、Extend、LlamaIndex)共620份文档,并采用公平的评分机制。
@datalabto 与 Reducto 目前位列榜首。https://t.co/j5UBto7cvm
相似文章
ExtractBench:面向模式引导的企业文档抽取基准
ExtractBench 是一个用于模式引导的企业文档抽取的新基准,在 4,869 页企业文档上评估值准确率、记录完整性、溯源性和成本。作者发现,商业 VLM 在处理长文档时表现不佳,而编码智能体虽然更准确但成本较高;LlamaExtract AgenticPlus 在所有指标上均领先。
@VikParuchuri: Datalab 平衡模式提取现已在内部基准测试中达到 95.9% 的准确率——比 Reducto Deep Extract 更精准(…
Datalab 的平衡模式提取在内部基准测试中实现了 95.9% 的准确率,超越 Reducto Deep Extract(95.1%),而价格不到其一半,并提供包含引用和推理的完整验证。
@VikParuchuri: 我们正在开源一个9B模型,它可以从文档中提取结构化数据,性能接近前沿水平。 - 90.2% 在我们基准测试上…
Vik Paruchuri 正在开源一个9B模型,该模型可以从文档中提取结构化数据,性能接近前沿水平(在其基准测试中达到90.2%,而Gemini 3.5 Flash为91.3%)。
@VikParuchuri:OlmOCR 是设计最出色的 OCR 基准测试,但它已趋于饱和。如今的提升主要来自为匹配测试而进行的后处理,……
Vik Paruchuri 认为,OlmOCR 是设计最出色的 OCR 基准测试,但其性能已趋于饱和,近期的提升主要来自为匹配测试集而采用的后处理技巧,而非模型本身的真正改进。
@llama_index: 大多数文档提取API无法告知数据来源。对于ExtractBench,我们严格评估了溯源性:一个…
ExtractBench 是一个新的文档提取基准测试,严格评分溯源准确性,显示 VLMs 和编码代理缺乏证据,而 LlamaExtract Agentic Plus 以高性能领先于页面级和单词级指标。