金融披露文本中细粒度不一致分类的诊断

# 诊断财务披露文本中的细粒度不一致性分类 来源: https://arxiv.org/html/2607.26368 Aman Kumar, Lasitha Vidyaratne, Dipanjan D Ghosh, Arnab Chakrabarti, Ahmed K Farahat 日立美国有限公司 ###### 摘要 财务披露包含数字声明、时间陈述、实体引用、政策承诺和风险描述，这些元素可能以不同性质的方式产生冲突。检测冲突只是第一步：审查工作流程可能还需要确定其类型，因为数字、时间、指代、事实和规范性不一致需要不同的证据和后续检查。我们将此问题作为细粒度不一致性分类进行研究。使用 SBID-FD 的固定 5940 实例快照（一个包含 11 个不一致标签和成对参考证据片段的合成财务披露基准），我们比较了冻结嵌入分类器、微调编码器、证据增强分类器、提示大语言模型和 LoRA 适应性生成模型，采用统一的评估协议。微调的 300M 编码器达到 61.9% 的准确率，而 LoRA 适应的 Qwen3.5-9B 模型为 61.5%，GPT-5.4 为 61.3%。由于这些系统在架构、监督、训练目标和输入格式上不同，我们将其解释为紧凑监督编码器的实际效率结果，而非关于模型规模的受控结论。提供黄金证据片段将微调编码器的准确率提升至 65.3%，而自动预测的片段恢复了有意义但不完整的部分提升，表明定位质量仍是瓶颈。类别级分析显示，指代不一致对定位质量特别敏感，而事实和逻辑不一致即使在提供相关证据时仍然困难。综合来看，神谕、干扰项和每类分析将定位错误与残留的类型判别错误区分开，表明进展需要更强的证据提取以及更好的推理能力来应对密切相关的不一致类别。 诊断财务披露文本中的细粒度不一致性分类 Aman Kumar, Lasitha Vidyaratne, Dipanjan D Ghosh, Arnab Chakrabarti, Ahmed K Farahat 日立美国有限公司。 ## 1 引言 财务披露结合了定量声明、时间陈述、实体引用、政策承诺、法律限定、风险描述和前瞻性预测。这些声明通常由不同团队、数据源和报告周期制作和修订，从而为冲突创造了机会——这些冲突在形式以及诊断所需推理上差异显著。数字不一致可能需要检查算术或表格汇总；时间不一致可能需要比较报告期或事件序列；指代不一致可能需要跨子句跟踪实体；而规范性不一致可能需要确定声明的义务或政策是否相互兼容。在这种情境下，不一致并非单一的同质现象：不同类型依赖于不同的证据、推理模式和下游补救步骤。 财务文本提出了通用模型难以处理的领域特定挑战。其词汇和语义行为与日常用法不同：通用情感词典可能错误分类 10-K 文件中的常见财务术语 (Loughran and McDonald, 2011 (https://arxiv.org/html/2607.26368#bib.bib10))，并且已经提出了针对财务文本挖掘的领域特定预训练模型 (Liu et al., 2020 (https://arxiv.org/html/2607.26368#bib.bib11))。财务问答基准进一步表明，理解财务报告通常需要对异构文本和表格证据进行推理，包括数值运算和多步推导 (Chen et al., 2021 (https://arxiv.org/html/2607.26368#bib.bib12); Zhu et al., 2021 (https://arxiv.org/html/2607.26368#bib.bib13))。这些研究促使将财务披露视为一个领域，其中通用语言理解是不够的，但它们的目标是情感分析、表示学习或问答，而非细粒度不一致类型划分。 先前的工作主要通过自然语言推理 (NLI)、事实验证和基于证据的预测来研究不一致和矛盾。大规模 NLI 基准（如 SNLI、MultiNLI 和 ANLI）将矛盾定义为前提与假设之间的关系，分配蕴涵、矛盾或中性之一 (Bowman et al., 2015 (https://arxiv.org/html/2607.26368#bib.bib1); Williams et al., 2018 (https://arxiv.org/html/2607.26368#bib.bib2); Nie et al., 2020 (https://arxiv.org/html/2607.26368#bib.bib3))。事实验证基准（如 FEVER）则询问声明相对于证据是被支持、反驳还是无法验证 (Thorne et al., 2018 (https://arxiv.org/html/2607.26368#bib.bib4))，而基于理由的评估工作（如 ERASER）研究模型预测是否能基于支持文本片段 (DeYoung et al., 2020 (https://arxiv.org/html/2607.26368#bib.bib5))。最近的资源将推理扩展到句子对之外：ContractNLI 将文档级推理和证据识别应用于合同 (Koreeda and Manning, 2021 (https://arxiv.org/html/2607.26368#bib.bib6))，而 ContraDoc 研究长文档内的自我矛盾 (Li et al., 2024 (https://arxiv.org/html/2607.26368#bib.bib7))。这些工作确立了矛盾检测、声明验证和证据基础作为核心问题，但它们并未直接解决此处研究的补充问题：一旦知道段落包含不一致，模型能否识别其包含的具体类型？我们将此任务称为细粒度不一致性分类。该任务在诊断上有用，因为它揭示了当前模型可靠处理哪些不一致类型，以及哪些仍然困难。它还可能通过将数字、时间、指代、规范性和其他冲突路由到不同的下游检查来支持未来的审查工作流程。本研究并不评估这样的部署工作流程；相反，它使用受控的合成测试平台来分析分类行为和定位证据的作用。 本文做出四项贡献。 1. 1. 跨模型评估。我们提供了冻结编码器、完全适应编码器、证据增强分类器、提示 LLM 和 LoRA 适应模型在财务文本细粒度不一致类型划分上的系统比较，采用统一的 11 类协议。 2. 2. 紧凑监督适应。我们表明，微调的 300M 编码器与更大规模的提示和 LoRA 适应系统具有竞争力，同时计算需求显著减少。 3. 3. 定位诊断。匹配的预测片段、黄金片段和干扰片段条件将定位错误与提供相关证据后仍存在的错误区分开。 4. 4. 类别级错误分析。每类和混淆分析识别出主要受定位限制的类别，以及那些在黄金证据下仍然困难的类别。 ## 2 任务与数据 #### 任务定义。给定不一致输入文本 Tj，任务是从 11 个预定义类别中预测不一致标签 ĉj。如果 ĉj = cj（真实标签），则预测正确。该任务以已经检测到不一致为条件，因此评估的是类型划分，而非上游检测。假阳性、假阴性和端到端检测到类型划分的错误传播不在本研究范围内。 #### 数据。我们使用 SBID-FD 的固定早期快照，这是一个在同行评审中的配套论文中介绍的合成财务披露基准。该快照包含源自 970 个不同基础段落的 5940 个实例，早于基准的扩展公开发布；本文所有实验均在此快照上进行，我们将其包含在补充材料中以确保精确可重复性。每个实例包含不一致段落、来自表 1 (https://arxiv.org/html/2607.26368#S2.T1) 中 11 类分类法的标签、自动生成的参考解释，以及识别锚定声明和冲突声明的两个逐字参考片段。数据通过多阶段 LLM 流水线生成。从多个开源模型家族中抽取的语言模型池首先生成内部一致的 SEC 风格披露段落，涵盖各种商业背景，每个基础段落由 LM 评判员筛选内部一致性。然后，单独的生成步骤引入指定目标类型的一个不一致，作为黄金标签，同时保留周围上下文、话语结构和大部分原始措辞。候选变体通过词汇预过滤器和多个 LM 评判员质量门控（拒绝浅层、标签不匹配或不可信的编辑），之后自动证据生成步骤产生参考解释和成对证据片段；证据生成同时充当一致性检查，因为当解释与段落不匹配时无法生成片段。任何阶段均未使用人工标注。生成器池包括我们同时作为提示分类器评估的 Qwen3.5 模型，以及 GPT-5-mini（与评估的 GPT-5.4 共享模型家族）；我们在局限性中回到这种重叠。分类法和生成流水线在配套基准论文中描述，此处用作固定评估测试平台。 主要实验使用分层 70-30 训练测试分割，包含 4158 个训练示例和 1782 个测试示例。我们还评估了更严格的基础段落不相交分割，其中源自同一基础段落的所有变体仅分配到一个分区（附录 B (https://arxiv.org/html/2607.26368#A2)）。111我们将在实验代码中发布两次评估中使用的确切分割标识符。主要测试集分布范围从 109 个指代示例到 241 个逻辑示例；每类完整计数在表 6 (https://arxiv.org/html/2607.26368#A1.T6) 中报告。不一致段落是短摘录而非完整文档，中位长度约为 87 个单词；其对应基础段落的中位长度约为 78 个单词。基础段落与其不一致变体之间的中位字符级 Levenshtein 距离为 72，中位最长公共连续子串覆盖较短段落的大约 73%。这些统计显示，变体通常保留基础段落的大多数表面形式，同时引入局部编辑或插入，从而能够进行此处研究的证据定位分析。一个工作示例以及完整的长度和重叠统计出现在附录 A (https://arxiv.org/html/2607.26368#A1) 中。 表 1：11 个不一致类别的定义。 ## 3 方法 我们比较两类方法。第一类是判别式基于嵌入的分类：我们嵌入段落（以及可选的预测冲突片段）并使用小型多层感知器 (MLP) 头预测不一致类型（图 1 (https://arxiv.org/html/2607.26368#S3.F1)）；该系列涵盖下面的段落分类器和证据增强分类器。第二类是生成式：我们提示指令调优的 LLM 直接输出标签，并还使用 LoRA 微调其中两个模型。所有方法使用相同的任务、分割和标签集。 ### 3.1 段落分类器 我们考虑冻结和微调的段落编码器，在相同的下游分类器下评估以保持比较公平。 #### 冻结设置。我们使用冻结的句子编码器嵌入不一致段落，并在其之上训练两层 MLP（隐藏大小 [512, 256]，dropout 0.2，lr=10⁻³）。我们比较五个骨干：MiniLM-L6-v2 (Wang et al., 2020 (https://arxiv.org/html/2607.26368#bib.bib14); Reimers and Gurevych, 2019 (https://arxiv.org/html/2607.26368#bib.bib15))、Qwen3-Embedding 0.6B 和 8B (Zhang et al., 2025 (https://arxiv.org/html/2607.26368#bib.bib16))、EmbeddingGemma-300M (Vera et al., 2025 (https://arxiv.org/html/2607.26368#bib.bib17)) 和 DeBERTa-v3-base (He et al., 2023 (https://arxiv.org/html/2607.26368#bib.bib18))（均值池化）。 #### 微调设置。在冻结骨干中，EmbeddingGemma-300M 达到最高准确率（27.1%），使其成为完全微调的自然候选。对于 EmbeddingGemma-300M，微调分两步进行。首先，我们使用线性头端到端微调完整编码器用于 11 类分类，使编码器权重适应任务。其次，我们丢弃线性头，冻结适应的编码器，预计算段落嵌入，并在这些嵌入上训练新的两层 MLP 分类器，使用与冻结基线相同的 MLP 架构。报告的微调数字来自这第二步，因此与冻结基线的唯一区别是底层嵌入的质量。为了测试冻结结果是否只是弱冻结骨干的产物，我们还按照相同的两步协议微调 DeBERTa-v3-base 作为段落分类器，因此相同骨干以冻结和微调两种形式出现。对于每个编码器，我们报告两种条件：(i) 端到端微调后的线性分类器，以及 (ii) 微调编码器冻结后的 MLP 分类器。超参数在附录 E (https://arxiv.org/html/2607.26368#A5) 中。 ### 3.2 证据增强分类器 EmbeddingGemma QA 在测试时提取片段 证据片段 claim_a, claim_b 片段嵌入 EmbGemma-300M 均值池化 证据分支 不一致文本 文本嵌入 EmbGemma-300M 拼接 文本⊕证据 MLP 1536→512→256→11 ReLU, Dropout 0.2 预测标签 11 类 图 1：证据增强分类器。EmbeddingGemma QA 模型预测两个冲突片段，这些片段被池化并与段落嵌入拼接后送入 MLP 头。仅段落分类器省略证据分支；黄金片段神谕在测试时用黄金片段替换预测片段。 每个实例包含两个参考证据片段：claim_a（作为锚定声明）和 claim_b（引入或完成冲突）。我们使用这种成对片段表示作为受控方式来研究局部冲突证据是否改善不一致类型划分。该表示假设不一致可以通过段落内的两个逐字片段来表达，这一假设受此数据集构建的支持，但对于自然发生的财务披露并不保证。在测试时，我们用抽取式问答模型的输出替换参考片段，并将预测片段传递给分类器（图 1 (https://arxiv.org/html/2607.26368#S3.F1)）。 #### 片段预测。我们将定位框架化为在段落上的抽取式 QA。模型每段落运行两次，一次使用声明 A 的固定角色问题，一次使用声明 B 的固定角色问题，并从起始和结束 token 的 logits（每个窗口前 25 个起始和结束候选中的最高起始+结束 logit 和，最大片段长度为 80 个 token）解码每个角色一个连续片段。角色通过提出的问题分配；模型本身不预测角色。每个 t