FinanceComplexQA: 面向工业级金融文档的智能体推理基准评估

Hugging Face Daily Papers 论文

摘要

本文介绍了FinanceComplexQA,这是一个全面的基准测试,用于评估工业级金融文档上的智能体推理能力,具有双语支持、专家级问题以及跨六个场景和七个任务的复杂布局。

智能体推理因其整合大规模信息并生成可靠准确内容的能力,已成为金融分析中的变革性力量。然而,在处理复杂的现实问题时,不同智能体仍表现出显著的性能差异。在本工作中,我们设计了Finance-LaTeX SKILL,这是一种基于专家知识合成具有复杂布局的金融文档的技能。利用基于该技能构建的智能体工作流,我们生成了2,000份专业金融文档以及6,000个高质量的问答对。为了评估智能体的整体能力,我们引入了FinanceComplexQA,这是一个贴近现实场景的全面开放式金融文档生成基准。它包含针对1,009份金融文档的2,026个深度研究任务。FinanceComplexQA有8个关键特性:双语支持;覆盖六个主流场景和七个任务;专家级文档推理问题;复杂布局的深度研究;相对稳定且永久的参考答案;以及通过具有多种评估指标的Agent-as-a-Judge进行精确评估。利用FinanceComplexQA,我们对金融文档问答领域领先的RAG系统和智能体推理工具进行了全面评估。通过识别和分析失败案例,我们对其在数值计算、多跳推理、内容摘要和行业分析方面的能力进行了深入研究。
查看原文
查看缓存全文

缓存时间: 2026/07/24 13:01

论文页面 - FinanceComplexQA:面向工业级金融文档的智能体推理基准

来源:https://huggingface.co/papers/2607.19238

作者:











摘要

智能体推理(Agentic Reasoning)因能够整合大规模信息并生成可靠准确的内容,已成为金融分析领域的一股变革性力量。然而,在处理复杂的现实世界问题时,不同智能体仍表现出显著的性能差异。在这项工作中,我们设计了 Finance-LaTeXSKILL——一种基于专家知识合成具有复杂布局的金融文档的技能。基于该技能构建的智能体工作流,我们生成了 2,000 份专业金融文档以及 6,000 个高质量问答对。为了全面评估智能体的能力,我们引入了 FinanceComplexQA——一个贴近真实场景的综合性金融文档开放式生成基准。它包含 2,026 个深度研究任务,覆盖 1,009 份金融文档。FinanceComplexQA 具有 8 个关键特征:双语支持;覆盖六大主流场景与七种任务;专家级文档推理问题;复杂布局的深度研究;相对稳定且持久的参考答案;以及通过具备多种评估指标的智能体作为评判者(Agent-as-a-Judge)实现精确评估。利用 FinanceComplexQA,我们对领先的 RAG 系统与面向金融文档问答的智能体推理工具进行了全面评估。通过识别和分析失败案例,我们深入研究了它们在数值计算、多跳推理、内容总结和行业分析方面的能力。

查看 arXiv 页面 (https://arxiv.org/abs/2607.19238)
查看 PDF (https://arxiv.org/pdf/2607.19238)
项目页面 (https://huggingface.co/datasets/Multilingual-Multimodal-NLP/FinanceComplexQA)
GitHub1 (https://github.com/buaacxf/FinanceComplexQA)
添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.19238)

在你的智能体中获取这篇论文:

hf papers read 2607.19238

没有最新的 CLI?curl -LsSf https://hf.co/cli/install.sh | bash

引用该论文的模型:0

尚无模型链接该论文

在模型 README.md 中引用 arxiv.org/abs/2607.19238 即可在此页面建立链接。

引用该论文的数据集:1

Multilingual-Multimodal-NLP/FinanceComplexQA

约2小时前更新 • 21 • 2 (https://huggingface.co/datasets/Multilingual-Multimodal-NLP/FinanceComplexQA)

引用该论文的 Spaces:0

尚无 Space 链接该论文

在 Space README.md 中引用 arxiv.org/abs/2607.19238 即可在此页面建立链接。

包含该论文的收藏集:0

尚无收藏集包含该论文

将此论文添加到收藏集 (https://huggingface.co/new-collection) 即可在此页面建立链接。

相似文章