论文页面 - ExtractBench：用于 Schema 引导的企业文档提取基准

来源：https://huggingface.co/papers/2607.29677

摘要

企业工作流越来越依赖 agent 进行 Schema 引导的提取：给定一个文档和用户定义的 schema，agent 会忠实地遵循 schema 生成正确输出，并将来源证据作为 grounding 元数据。我们提出了 ExtractBench，这是一个用于 Schema 引导提取的基准，并且据我们所知，是第一个将值准确性、规模化记录完整性、grounding 和实测成本一并评分的基准。该评估系统包含 370 份企业文档、8 个业务领域和 67 种文档类型，共 4,869 页，并带有清晰标签以区分其挑战场景。可扩展的 schema 与真值整理流水线结合了对真实文档的独立系统一致性、合成列表的已知值以及表单的人工验证。我们报告顺序不敏感的值 F1 来衡量值准确性，以及两个用于来源可追溯性的 grounding 指标：词级和页面级 F1。商业 VLM 在短文档上表现出色，但在长文档上经常截断记录列表，而编码 agent 以高得多的成本保持了更高的准确性。LlamaExtract AgenticPlus 在所有三项指标上均排名第一，其准确性与编码 agent 相当，但成本仅为其一小部分。数据集和评估代码可在 https://huggingface.co/datasets/llamaindex/ExtractBench{HuggingFace} 和 https://github.com/run-llama/ExtractBench{GitHub}. 获取。

查看 arXiv 页面 (https://arxiv.org/abs/2607.29677) 查看 PDF (https://arxiv.org/pdf/2607.29677) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.29677)

在你的 agent 中获取此论文：

hf papers read 2607\.29677

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型

0

没有链接此论文的模型

在模型 README.md 中引用 arxiv.org/abs/2607.29677 以从此页面链接它。

引用此论文的数据集

0

没有链接此论文的数据集

在数据集 README.md 中引用 arxiv.org/abs/2607.29677 以从此页面链接它。

引用此论文的 Space

0

没有链接此论文的 Space

在 Space README.md 中引用 arxiv.org/abs/2607.29677 以从此页面链接它。

包含此论文的收藏

0

没有包含此论文的收藏

将此论文添加到收藏 (https://huggingface.co/new-collection) 以从此页面链接它。