LEDGER：企业年报长上下文有依据金融检索与提取基准测试

# LEDGER：面向企业年报的基于证据的金融检索与抽取长上下文基准
来源：https://arxiv.org/html/2606.13100
###### 摘要

财务报告是大语言模型的天然试验场，而近期各类尺寸模型在超长上下文方面的能力，使得该领域的严格评估变得愈发迫切。然而，大多数公开的金融资源将问题简化为纯文本的SEC 10-K文件，并附带少量问答对。我们发布**Ledger**（面向基于证据的抽取与检索的文档长上下文评估），一个包含4,999份数字化**企业年报**的语料库——这些是附带图表、表格和叙述的完整文档，而不仅仅是监管文件。每份报告均标注了31项合并的关键财务指标（KPI），并将其与盈利公布日的市场反应相关联。基于这些数据，我们构建了三个覆盖不同难度层面的评估基准：包含118,048个自然语言问题的TREC风格页面级KPI检索任务、对话式“大海捞针”单值查找任务，以及针对长且数值密集报告的完整KPI抽取任务。此外，我们还提供了人工OCR质量标注（标注间一致性）、完整的抽取、验证和评分工具链。最后，我们通过一个案例研究展示了该数据集的研究实用性，该研究将CEO信函措辞与发布后的市场影响联系起来。

金融, 长上下文评估, 信息检索, 文档理解, 关键绩效指标, 基准数据集

## 1. 引言

企业财务报告提供了关于公司健康状况和业绩的关键数据，但其冗长的篇幅和复杂性给分析师带来了沉重的认知负担。尽管存在这些障碍，报告的发布会引发快速、高波动的市场反应，而在市场开盘和反应之前评估这些报告的关键窗口非常短暂，通常仅为一小时。因此，能够从密集的金融文本中近乎实时地提取可操作情报的自动化工具将使所有金融投资者受益。大语言模型（LLMs）有望阅读、理解并提取此类信息，尤其是在上下文窗口迅速增长的背景下——即使是小型、可本地部署的模型，其上下文窗口也已达到数十万token。然而，模型能否真正**基于**这些文档来提供答案，却鲜有衡量。大多数公开的金融资源将问题简化为美国SEC 10-K文件的短篇幅纯文本摘录，并配备数百个问答对（Chen et al., 2021 (https://arxiv.org/html/2606.13100#bib.bib5); Zhu et al., 2021 (https://arxiv.org/html/2606.13100#bib.bib34); Islam et al., 2023 (https://arxiv.org/html/2606.13100#bib.bib11)）。而真实的财务分析则基于完整的**年报**：一份冗长、视觉密集的“光面”文档，其中交织着叙述、法定报表、数百个表格和图表，同一指标（如“收入”）在公司特定的标签、规模及范围下均有报告。

我们发布**Ledger**，一个专为针对此类文档进行检索与抽取评估而构建的资源。我们从4,999份OCR处理后的年报出发，为其标注了真实的KPI、自然语言问题以及相应的页面级相关性。该资源按难度梯度组织——从定位某一页面，到抽取单一数值，再到抽取整份财务报表——并附带用于构建和评分的完整工具链。我们的贡献包括：

- **一个标注报告语料库**：涵盖738家公司2009–2024财年的报告，每份报告均标注31项合并KPI，并关联了盈利公布日的市场数据。每个KPI标签（共118,048个）均附带一个自然语言问题及页面级相关性标签（第3节 (https://arxiv.org/html/2606.13100#S3)）。
- **三个基准及其基线**：页面级KPI检索（TREC qrels）、对话式“大海捞针”单值查找，以及完整的多KPI抽取，配合稀疏/学习型稀疏IR及四个开源LLM基线（第4节 (https://arxiv.org/html/2606.13100#S4)）。
- **一个研究实用案例**：将CEO信函措辞与每股收益惊喜及发布后市场影响联系起来（第5节 (https://arxiv.org/html/2606.13100#S5)）。
- **开放发布**：代码采用MIT许可证，数据采用知识共享署名4.0国际许可，附带永久DOI及完整的抽取/验证工具链。

## 2. 相关资源

金融一直是LLMs早期且活跃的应用领域，既作为训练领域（例如，基于专有数据训练的 BloombergGPT (Wu et al., 2023 (https://arxiv.org/html/2606.13100#bib.bib32))），也作为评估领域。数值推理基准如FinQA (Chen et al., 2021 (https://arxiv.org/html/2606.13100#bib.bib5))、ConvFinQA (Chen et al., 2022 (https://arxiv.org/html/2606.13100#bib.bib6)) 和 TAT-QA (Zhu et al., 2021 (https://arxiv.org/html/2606.13100#bib.bib34)) 将短篇幅的表格加文本片段与算术问题配对；FinanceBench (Islam et al., 2023 (https://arxiv.org/html/2606.13100#bib.bib11)) 将其扩展到基于10-K文件的开放书籍QA，而DocFinQA (Reddy et al., 2024 (https://arxiv.org/html/2606.13100#bib.bib22)) 则将上下文扩展至文档规模。面向检索的工作表明，文档结构对金融RAG至关重要 (Jimeno Yepes et al., 2024 (https://arxiv.org/html/2606.13100#bib.bib12))，且像ViDoRe (Loison et al., 2026 (https://arxiv.org/html/2606.13100#bib.bib17)) 这样的视觉文档检索基准评估了渲染PDF的页面检索。**Ledger**在四个维度上同时有所不同：(i) 它覆盖**完整的年报**——不仅仅是10-K文本——包括10-K所省略的光面封面、图表和CEO信函；(ii) 文档真正属于长上下文（≈126k tokens，中位数124页）；(iii) 它提供大规模**权威数值标注**，每家公司每年约有30个KPI，这些KPI与SEC XBRL文件核对，而非众包答案；(iv) 它将文档与市场反应信号相关联，从而支持下游金融研究任务。整个资源开放许可，并附带数据表 (Gebru et al., 2021 (https://arxiv.org/html/2606.13100#bib.bib8)) 和符合FAIR原则 (Wilkinson et al., 2016 (https://arxiv.org/html/2606.13100#bib.bib31)) 的元数据。

## 3. Ledger语料库

参见图注  
图 1. Ledger语料库概览。

### 3.1. 财务报告与OCR

Ledger语料库基于4,999份公开可用的PDF格式企业年报构建。使用DeepSeek-OCR-2 (Wei et al., 2025 (https://arxiv.org/html/2606.13100#bib.bib29), 2026 (https://arxiv.org/html/2606.13100#bib.bib30))，我们将每份LEDGER报告转换为单一的按页对齐的Markdown文件，其中页面由显式的`<!--- Page Split --->`标记分隔，表格呈现为HTML/LaTeX，并保留每页的栅格图像以供下游视觉任务使用。

由于所有下游任务均依赖OCR保真度，我们提供了表格提取质量的人工评估。15名标注员通过一个专用界面（将每个检测到的表格与其源页面图像并排显示）对大约1,150个提取的财务表格进行“ok/not_ok/uncertain”分级。对其中273个表格的子集进行了三重编码以衡量一致性：观察到87.2%的完全一致，91.3%的两两一致，以及Fleiss' κ = 0.81（高度一致）。在表格层面，81.5%的表格被评为正确对齐，这为OCR表格保真度提供了一个具体、可审计的估计，下游用户可据此进行条件筛选。总体而言，尽管偶尔存在罕见的误表示，数值提取近乎完美；但对于复杂表格，布局对齐可能不够理想。

表 1. Ledger数据集统计。评估公司是总语料库的子集。Token数使用`cl100k_base`分词器计算。

### 3.2. KPI标注

我们为每份公司-年份报告附加了合并的KPI，按三个财务报表组织：**（i）利润表** —— 收入、营收成本、毛利润、研发费用、销售及管理费用、营业利润、利息支出、所得税费用、净利润、基本及稀释每股收益；**（ii）资产负债表** —— 总资产、总负债、股东权益及其含非控制性权益变体、现金及现金等价物及其含受限资金变体、三种范围内的长期债务、短期借款、存货、应收账款、应付账款、流通股；**（iii）现金流量表** —— 经营活动现金流、投资活动现金流、筹资活动现金流、资本支出、折旧与摊销、已付股息。EBITDA被有意排除：它依赖于报告准则，且可由已发布的组成部分推导得出。数值通过三级来源瀑布获取：美国上市公司的SEC EDGAR `companyfacts` XBRL，非美国上市公司的Yahoo! Finance API（通过`yfinance` Python包）作为备选，以及Alpha Vantage作为可选的缺口填充（不会覆盖前两者）。结果是118,048个经审计的合并事实，核心项目的每个KPI年覆盖率超过85%，并采用能处理52周和53周财年报告的财年惯例。

### 3.3. KPI的自然语言问题及相关页面

对于每个（公司，年份，KPI）三元组，我们生成一个自然语言问题，以模拟聊天用户界面中的用法。为此，我们首先使用DBpedia (Auer et al., 2007 (https://arxiv.org/html/2606.13100#bib.bib2)) 收集公司的替代名称，以自动重现人类用户语义的变异性（如Malherbe和Aufaure, 2016 (https://arxiv.org/html/2606.13100#bib.bib18) 所做）。其次，我们使用Gemini 3.1 Pro (Google DeepMind, 2026 (https://arxiv.org/html/2606.13100#bib.bib9)) 为给定KPI生成问题的不同变体，形式为模板，其中`company name`和`year`需要被替换。实际上，由于KPI和公司在我们的一组三元组中多次出现，我们为每个三元组均匀地采样一次KPI问题模板和公司名称。

在针对相应报告页面的RAG场景中，我们为每个查询标注了相关页面。为此，我们取对应的真实KPI值，并在报告中搜索包含该值的页面，从而产生TREC风格的相关性判断 (Voorhees et al., 2005 (https://arxiv.org/html/2606.13100#bib.bib27))。从118,048个问题中，我们通过单位归一化值匹配挖掘出超过一百万个候选（查询，页面）对，并使用LLM评判（此处为Qwen 3.6 (Qwen Team, 2026 (https://arxiv.org/html/2606.13100#bib.bib21))）将每对按0/1/2级（不相关/上下文提及/主要来源）进行评分，从而生成一个分级的qrels文件。领域专家对60个分级对进行的手动抽查显示与评判一致率为91.6%；未来版本计划进行完整的多标注员研究。

### 3.4. 市场反应关联

对于每个美国公司-年份，我们将报告与发布时的市场反应相关联。使用EDGAR的`submissions`订阅，我们选择原始10-K（不含修订），其发行人标注的财年与报告匹配，取最早的`acceptanceDateTime`（UTC），并根据纽约证券交易所东部时间将其分类为盘前/盘中/盘后。我们考虑原始收益率，定义为：

(1) $r_h = \frac{P_t - P_{t+h}}{P_t}$,

其中 $P_t$ 是盈利公布日的收盘价（若在盘前发布，则为前一收盘价）。注意，由于我们将与过去日期进行比较（即 $h < 0$），我们的符号选择意味着 $r_h > 0$ 表示股价上涨。我们还计算每股收益惊喜（EPS Surprise）为：

(2) $\text{EPS Surprise} = \frac{\text{Reported EPS} - \text{Consensus EPS}}{|\text{Consensus EPS}|}$

其中分母确保了惊喜的符号得以保留，且EPS对应财年第四季度。

## 4. 基准与基线

该资源在同一份文档和真实标签基础引出了三个难度递增的任务：根据问题找到页面，根据问题抽取一个KPI，抽取所有KPI。对于两个抽取任务（第4.2节–4.3节），我们报告召回率 = 正确值 / 黄金值（未回答计为漏检）和精确率 = 正确值 / 尝试值（未回答和不可验证的额外项排除）。对于单KPI抽取，召回率等同于长上下文文献中报告的确切匹配**准确率** (Hsieh et al., 2024 (https://arxiv.org/html/2606.13100#bib.bib10); Liu et al., 2024 (https://arxiv.org/html/2606.13100#bib.bib15))。为适应我们的4-GPU设置并在合理时间内完成，我们对语料库中的494份已标注报告进行实验，共含13,519个KPI真实标签（平均每份报告27.2个KPI）。对于前两个任务，我们保留了10,000个至少有一个相关页面的问题。

### 4.1. 页面级检索

考虑到RAG场景，我们首先评估使用问题作为查询时，检索系统如何从相关报告中检索到相关页面：（问题，报告）→ 相关页面。表2报告了这一页面级检索协议，比较了词法BM25 (Robertson和Zaragoza, 2009 (https://arxiv.org/html/2606.13100#bib.bib24)) 和学习型稀疏SPLADE (Formal et al., 2021 (https://arxiv.org/html/2606.13100#bib.bib7)) 与多表示密集检索器ColBERT (Khattab和Zaharia, 2020 (https://arxiv.org/html/2606.13100#bib.bib13)) 的表现。ColBERT在所有指标上始终优于BM25和SPLADE。这种优越性能在意料之中，因为ColBERT使用token级别的后期交互，通过细粒度的token到token对齐来计算相关性分数，而不是将整个文档压缩成单个向量。定位正确页面仍然异常困难：ColBERT的MRR仅为0.475（Recall@5: 0.370），而SPLADE和BM25分别降至0.386（Recall@5: 0.272）和0.324（Recall@5: 0.265），这证实了密集的数值页面严重难倒了现成的检索器。注意，为运行SPLADE和ColBERT，我们使用4个GPU进行报告级评估的并行化（每个GPU一个模型实例，采用动态工作窃取调度），并对每个报告内的文档页面和查询使用编码批量大小32。

表 2. 每文档页面检索，在10,000个问题（494份报告，测试语料库）上平均。Recall@k/MRR 使用二元相关性（rel≥1）；nDCG使用分级增益（0/1/2）。每行最佳值以**粗体**表示。

### 4.2. 对话式长上下文抽取

考虑到对话式聊天机器人场景，我们在给定问题和报告的情况下评估长上下文信息抽取：（问题，报告）→ KPI。为此，模型接收一份完整的OCR报告（≈100k tokens），并抽取单个指定的KPI，格式为结构化JSON对象（`found, value, unit_scale, page`）。回答匹配真实标签的±0.05%范围以内即视为正确。由于每份报告的长文档前缀是固定的，只有问题变化，前缀缓存将预填充减少约21倍，使得在单个GPU服务器上进行全语料库评估变得可行。左