FinResearchBench II：一项采用共识派生黄金评分准则以区分财务报告质量的深度研究基准

# FinResearchBench II：一种基于共识驱动黄金评分标准区分财务报告质量的深度研究基准
来源：https://arxiv.org/html/2607.12252
Beidi Luan¹,Rui Sun¹,Sinuo Wang¹,³,Yan Gu², Chao Li²,Zhenliang Xiong¹,⁴¹¹footnotemark:1,Jing Li¹,Zuo Bai¹, ²²²通讯作者：baizuo@stepfun\.com\.

¹StepFun,²FinStep,³阿德莱德大学,⁴上海交通大学

###### 摘要

深度研究智能体越来越多地被用于生成长篇财务报告，然而大规模的评估仍然受制于需要人类专家定义和执行高质量评分标准这一瓶颈。我们通过提出一个可扩展的流水线来解决这个问题，该流水线能够在最终环节无需人类专家的情况下生成高质量评分标准。我们基于104个真实用户查询构建了一个金融深度研究基准，并从模型生成的报告中自动合成了14,450个特定于查询的候选评分标准。为了证明从评分标准执行中移除人类专家的合理性，我们在一个抽样子集上将三位人类专家的评分判断与一个三人LLM评审小组的判断进行了比较，结果显示基于LLM的评估与人类评估足够一致，可以替代人类评估进行大规模的评分标准筛选，包括在联合一致的项目上达到98.67%的标签级一致性。随后，我们通过两个过滤器推导出共识驱动的黄金评分标准：严格的致性过滤器（仅当三位LLM评审员对同一查询下的每份报告都一致同意时才保留该评分标准）和区分性过滤器（仅当该评分标准在评估系统中至少分配一个多数“是”标签和一个多数“否”标签时才保留）。此过程保留了3,687个通过一致性检验的评分标准，其中2,600个仍具有区分性，形成了最终的共识驱动黄金评分标准集。使用这一最终评分标准集，我们在10个深度研究系统中获得了清晰区分的排名，项目级通过率从58.58%到22.23%不等。更广泛地说，由于该流水线从评分标准的生成和评估中移除了人类专家的执行，它自然可扩展用于基准评估、自动系统比较以及未来以评估驱动的系统改进研究。

FinResearchBench II：一种基于共识驱动黄金评分标准区分财务报告质量的深度研究基准

Beidi Luan¹, Rui Sun¹, Sinuo Wang¹,³††thanks:在Stepfun实习期间完成的工作。, Yan Gu²,Chao Li²,Zhenliang Xiong¹,⁴¹¹footnotemark:1,Jing Li¹,Zuo Bai¹, ²²²通讯作者：baizuo@stepfun\.com\.¹StepFun,²FinStep,³阿德莱德大学,⁴上海交通大学，

## 1 引言

深度研究智能体正迅速成为复杂金融分析的实用工具。现代系统越来越普遍地结合了检索增强、工具使用、迭代规划和长上下文合成，以收集证据并撰写报告形式的输出(Lewis等人，2020 (https://arxiv.org/html/2607.12252#bib.bib8)；Yao等人，2023 (https://arxiv.org/html/2607.12252#bib.bib30)；Schmidgall等人，2025 (https://arxiv.org/html/2607.12252#bib.bib19))。最近的调查和基准记录了在网络研究、专家报告生成、科学再发现、数据驱动分析以及结构化知识推理方面的快速进展(Xu和Peng，2025 (https://arxiv.org/html/2607.12252#bib.bib28)；Zheng等人，2025 (https://arxiv.org/html/2607.12252#bib.bib35)；Du等人，2025 (https://arxiv.org/html/2607.12252#bib.bib3)；Han等人，2025 (https://arxiv.org/html/2607.12252#bib.bib5)；Wang等人，2026 (https://arxiv.org/html/2607.12252#bib.bib23)；Liu等人，2026a (https://arxiv.org/html/2607.12252#bib.bib11),b (https://arxiv.org/html/2607.12252#bib.bib12))。目前限制进步的已不仅仅是报告生成本身，而是可扩展且既具有判别性又在操作上可行的评估。

这个问题在金融领域尤为突出，因为报告篇幅长、数据密集且跨查询异质性高。通用的长文本指标无法捕捉规划质量、基于来源的可靠性和分析覆盖度(Que等人，2024 (https://arxiv.org/html/2607.12252#bib.bib18)；Wu等人，2025 (https://arxiv.org/html/2607.12252#bib.bib26)；Tuohetiyaer等人，2026 (https://arxiv.org/html/2607.12252#bib.bib22))。因此，基于评分标准或准则的评估越来越受到青睐(Zheng等人，2023 (https://arxiv.org/html/2607.12252#bib.bib34)；Zhang等人，2026a (https://arxiv.org/html/2607.12252#bib.bib32)；Lv等人，2026 (https://arxiv.org/html/2607.12252#bib.bib16))，但大多数高质量流水线仍然依赖人类专家进行评分标准设计、偏好标注、指导、验证或执行(Han等人，2025 (https://arxiv.org/html/2607.12252#bib.bib5)；Lv等人，2026 (https://arxiv.org/html/2607.12252#bib.bib16))。这种依赖性正是核心的可扩展性瓶颈。

我们论证认为*高质量评分标准不必通过人类专家循环来产生*。从104个真实金融查询出发，我们收集了1,040份报告，合成了14,450个特定于查询的候选评分标准，并首先在一个抽样子集上，将三人LLM评审小组与三位人类专家进行了比较验证。然后，我们通过两个过滤器对整个池进行筛选：严格的致性过滤器（要求同一查询下所有10份报告的判断一致）和区分性过滤器（仅保留在系统中同时分配正面和负面多数标签的评分标准）。该过程产生了3,687个通过一致性检验的评分标准和2,600个最终的*共识驱动黄金评分标准*。

由此产生的评分标准集支持直接的产品比较：在10个系统中，通过率差距超过36个百分点。更广泛地说，将人类专家从关键执行路径中移除，使得基于评分标准的评估在大规模基准测试、系统比较以及未来评估驱动的系统改进中变得更容易扩展。

我们的主要贡献如下：

1.  一个基于真实金融使用场景的深度研究基准。我们基于104个真实金融查询和1,040份产品报告构建了一个基准。
2.  一个可扩展的、无需专家的流水线，用于推导高质量评分标准。从14,450个候选中，我们验证了三人LLM评审小组与人类专家的一致性，然后应用一致性过滤器和区分性过滤器，在不依赖人类执行最终循环的情况下，推导出2,600个共识驱动的黄金评分标准。
3.  一个经过验证且具有判别性的评估信号。我们表明，人类与LLM之间的一致性足够强，能够支持大规模基于LLM的评分标准筛选，并且由此产生的共识驱动黄金评分标准在10个产品中产生了稳定的区分度。

图1 (https://arxiv.org/html/2607.12252#S1.F1) 总结了生成共识驱动黄金评分标准并将其用于系统排名

的完整流程。

参看图注图 1：从特定查询的候选评分标准推导出共识驱动的黄金评分标准，并使用保留的评分标准集进行最终系统排名的流水线。该图由 Gemini 生成，随后由作者审阅和修改。
## 2 相关工作

### 2.1 深度研究智能体的基准

基准测试已从多跳问答(Yang等人，2018 (https://arxiv.org/html/2607.12252#bib.bib29)；Trivedi等人，2022 (https://arxiv.org/html/2607.12252#bib.bib21)；Ho等人，2020 (https://arxiv.org/html/2607.12252#bib.bib6)) 发展到基于行动的智能体评估(Liu等人，2023 (https://arxiv.org/html/2607.12252#bib.bib13)；Zhuang等人，2023 (https://arxiv.org/html/2607.12252#bib.bib37)；Deng等人，2023 (https://arxiv.org/html/2607.12252#bib.bib2))，并且最近更深入到涉及逼真的工具使用、报告生成、科学再发现和数据驱动分析的深度研究场景(Mialon等人，2023 (https://arxiv.org/html/2607.12252#bib.bib17)；Wei等人，2025 (https://arxiv.org/html/2607.12252#bib.bib25)；Du等人，2025 (https://arxiv.org/html/2607.12252#bib.bib3)；Han等人，2025 (https://arxiv.org/html/2607.12252#bib.bib5)；Wang等人，2026 (https://arxiv.org/html/2607.12252#bib.bib23)；Zhong等人，2026 (https://arxiv.org/html/2607.12252#bib.bib36)；Liu等人，2026a (https://arxiv.org/html/2607.12252#bib.bib11),b (https://arxiv.org/html/2607.12252#bib.bib12))。这些工作共同标志着向长期行为研究(Zhuge等人，2024 (https://arxiv.org/html/2607.12252#bib.bib38)；You等人，2026 (https://arxiv.org/html/2607.12252#bib.bib31)) 的智能体评估的转变。我们的重点在于补充：并非提出新的任务族，而是构建一个可扩展的流水线，用于构建用于评估报告质量的评分标准集。

### 2.2 金融领域基准

金融评估同样需要特定领域的任务和标准。先前的基准涵盖金融知识和推理(Guo等人，2025 (https://arxiv.org/html/2607.12252#bib.bib4)；Lu等人，2025 (https://arxiv.org/html/2607.12252#bib.bib14)；Guo等人，2026 (https://arxiv.org/html/2607.12252#bib.bib15))、智能体检索和更广泛的任务覆盖(Zeng等人，2025 (https://arxiv.org/html/2607.12252#bib.bib24)；Hu等人，2025 (https://arxiv.org/html/2607.12252#bib.bib7)；Xie等人，2024 (https://arxiv.org/html/2607.12252#bib.bib27))，以及基于评分标准的开放式案例的真实场景评估(Zhang等人，2026b (https://arxiv.org/html/2607.12252#bib.bib33))。类似的专业化也出现在法律和医疗智能体领域(Li等人，2025b (https://arxiv.org/html/2607.12252#bib.bib10)；Tan和Tian，2026 (https://arxiv.org/html/2607.12252#bib.bib20))。这些结果进一步证实，财务报告评估不能简化为通用的开放领域指标。

### 2.3 基于评分标准的生成长文本评估

长文本研究评估越来越依赖细粒度标准，而非BLEU/ROUGE或单一的LLM判断。先前的工作记录了判断偏差和表面层次代理指标的弱点(Zheng等人，2023 (https://arxiv.org/html/2607.12252#bib.bib34)；Li等人，2025a (https://arxiv.org/html/2607.12252#bib.bib9)；You等人，2026 (https://arxiv.org/html/2607.12252#bib.bib31)；Que等人，2024 (https://arxiv.org/html/2607.12252#bib.bib18)；Wu等人，2025 (https://arxiv.org/html/2607.12252#bib.bib26)；Bai等人，2024 (https://arxiv.org/html/2607.12252#bib.bib1))。其他工作直接使用评分标准(Zhang等人，2026a (https://arxiv.org/html/2607.12252#bib.bib32))。Deep-Research Eval 提倡更精细的评估单元和明确的来源检查，而特定查询的评分标准学习则使用人类偏好来生成任务自适应的监督信号(Tuohetiyaer等人，2026 (https://arxiv.org/html/2607.12252#bib.bib22)；Lv等人，2026 (https://arxiv.org/html/2607.12252#bib.bib16))。我们的工作提出了一个补充性问题：如何在不依赖人类专家执行最终循环的情况下，大规模地推导出高质量评分标准。

## 3 数据构建

构建高质量的评估基准需要能够真实反映实际用户需求的数据。与合成生成的查询或专家策划的假设场景不同，我们的基准基于用户与已部署的金融深度研究服务进行实际交互的数据，从而确保了生态效度和实际相关性。

### 3.1 数据收集方法

我们在2026年2月至3月期间，从一个已部署的金融深度研究服务中收集了用户查询，并应用了标准的隐私保护程序，包括匿名化和移除个人身份信息。查询分析揭示了七个主要类别：股票比较、股票趋势预测、基本面咨询、股票交易建议、主题/板块分析、贵金属分析和个股分析。通过对这些类别进行分层随机抽样，我们构建了一个包含104个查询的最终数据集，平衡了分析复杂度、时间多样性和实体覆盖。图2 (https://arxiv.org/html/2607.12252#S3.F2) 显示了细粒度分类下的用户查询分布。

0%2%4%6%8%10%12%14%16%个股识别个股分析股票筛选主题/板块分析股票业务查询股票趋势预测供应链股票挖掘基本面咨询趋势与交易建议交易建议股票比较股票异常分析贵金属分析信息查询16.0%14.4%12.6%8.0%7.0%7.0%6.6%5.8%4.4%4.4%4.0%3.6%3.4%2.8%查询占比图 2：细粒度分类下的用户查询分布。
### 3.2 评分标准构建

我们数据集的生产导向性确保了生态效度，因为查询反映了用户真实的需求，带有现实世界的模糊性和不同的具体程度。我们不是手工策划一个固定的少量评分标准库，而是直接从模型输出中构建一个大的、特定于查询的候选池。具体来说，我们首先为104个查询中的每一个收集10份产品报告，总共得到1,040份报告。然后，我们提示LLM从这些报告中合成二元的、特定于查询的评分标准项目，总共产生了14,450个候选评分标准。

1.  候选评分标准生成：对于每个查询，从相应的多产品报告集中生成候选评分标准，评分标准维度涵盖全面性、洞察力、指令遵循和可读性等方面。
2.  抽样子集上的人类与LLM验证：为了验证大规模的评分标准筛选可以自动化，我们在一个抽样的评分标准项目子集上，将三人LLM评审小组与三位人类专家进行了比较。这一步作为验证阶段，而非最终的大规模执行机制。
3.  共识驱动的黄金评分标准：经过验证后，由三人LLM小组使用两个过滤器对整个候选池进行筛选：严格的致性过滤器和跨报告区分性过滤器。通过这两个阶段的评分标准构成了最终的共识驱动黄金评分标准集，用于基准评估。

## 4 评估方法

### 4.1 无需专家的特定查询评分标准流水线

我们的方法围绕一个单一目标设计：在不依赖人类专家执行最终循环的情况下，推导出高质量的评估评分标准。我们并非从一个小的、手动策划的评分标准集开始，而是采用一种特定于查询的评分标准方法，即评估标准直接从报告本身推导出来。对于每个查询，我们收集10份产品报告，并提示LLM合成为该查询定制的二元评分标准项目。汇总所有104个查询，总共产生14,450个候选评分标准，然后由基于LLM的流水线进行筛选，以识别出更小的一组可靠且具有区分性的评分标准。

#### 4.1.1 经人类验证的LLM筛选

我们的目标并非让人类专家留在大规模执行循环中，而是使用一次人类判断来验证自动化的评分标准筛选机制。因此，我们在一个抽样的评分标准项目子集上，将三位人类专家与一个三人LLM评审小组进行比较。这一验证阶段支撑了我们流水线所需的操作性主张：在这个基准设定中，基于LLM的评分标准评估与人类评估足够一致，可以替代人类执行进行大规模筛选。

#### 4.1.2 严格的致性过滤器

验证之后，我们使用相同的三人LLM评审小组来评估整个候选池。对于一个固定的评分标准和一个固定的查询，10份产品报告中的每一份都会收到三个二元判断。只有当三位评审员在所有10份报告上均达成一致时，该评分标准才通过一致性过滤器。这一严格的全体一致规则移除了那些执行不够客观或可复现的评分标准。

#### 4.1.3 区分性过滤器

仅有致性是不够的：一个评分标准可能非常稳定但