并行LLM推理实现抗偏差、稳健的概念抽象

# 用于抗偏差、鲁棒概念抽象的并行LLM推理
来源：https://arxiv.org/html/2605.20194

11institutetext:图尔库大学，芬兰图尔库，11email:aisvarya\.a\.adeseye@utu\.fi
22institutetext:图尔库大学，芬兰图尔库，22email:jouni\.isoaho@utu\.fi
33institutetext:Brilloconnetz Partners avoin yhtiö，芬兰图尔库，33email:adeyemi@brilloconnetz\.com

###### 摘要

大型语言模型（LLMs）在文本分析中的应用日益增多。然而，在分析长文档时，它们常常受到上下文推理局限性的困扰。当长文档被顺序处理时，早期或主导概念可能会掩盖不太显眼但有意义的解读，导致累积性分析偏差、遗漏错误和过度泛化。此外，独立生成的输出往往在没有系统依据的情况下被合并，从而引入冗余、概念漂移和无依据的陈述。本研究提出一个结构化框架，将并行分块处理与基于证据的整合相结合。首先将文本分割成语义连贯的块，并行独立处理，以消除先前处理的影响。然后，通过显式的证据锚定和优先级排序对独立生成的解读进行整合，以减少主导性和过度泛化，同时提高可追溯性。使用多种模型类型和大小的实验表明，并行处理显著减少了约84%的遗漏错误，将证据可追溯性提高了多达130%，并将无依据陈述减少了多达91%。较小的模型受益最大，表明高效并行分块和整合在实现可靠且可扩展的文本分析中起着关键作用。

###### 关键词: 大型语言模型, 并行推理, 偏差缓解, 基于证据的推理, 概念抽象

## 1 引言

大型语言模型（LLMs）迅速改变了大规模文本解读的方式，使得自动化主题提取[1 (https://arxiv.org/html/2605.20194#bib.bib1)]、概念抽象[2 (https://arxiv.org/html/2605.20194#bib.bib2)]、定性编码[3 (https://arxiv.org/html/2605.20194#bib.bib3)]以及长文档摘要[4 (https://arxiv.org/html/2605.20194#bib.bib4)]在研究和应用领域成为可能。基于Transformer的架构[5 (https://arxiv.org/html/2605.20194#bib.bib5)]结合大规模预训练[6 (https://arxiv.org/html/2605.20194#bib.bib6)]，催生了具有强大生成和推理能力的语言模型[7 (https://arxiv.org/html/2605.20194#bib.bib7)]。这些进展促使LLMs不仅被用作文本生成器，还被用作综合复杂文本语料库的分析工具[8 (https://arxiv.org/html/2605.20194#bib.bib8)]。然而，长篇幅文档的可靠抽象在结构上仍然受到限制[9 (https://arxiv.org/html/2605.20194#bib.bib9)]。大多数现实世界的语料库，如访谈记录、政策报告和多文档数据集，都太大而无法放入单个模型的上下文窗口；这些都是Transformer架构有据可查的约束[10 (https://arxiv.org/html/2605.20194#bib.bib10),11 (https://arxiv.org/html/2605.20194#bib.bib11)]。尽管更大的模型在上下文整合方面有所改进[12 (https://arxiv.org/html/2605.20194#bib.bib12)]，但输入长度仍然是有限的。因此，分析师必须在推理之前将文本分割成更小的块。如果处理不当，这种分割会引入两种反复出现的结构性失败模式。

第一种是累积性分析偏差。当文本块被顺序处理时，每个输出会影响下一个输出。因此，在自回归Transformer中[13 (https://arxiv.org/html/2605.20194#bib.bib13)]，先前的解读会塑造后续的推理，强化主导主题，同时抑制不太显眼但重要的想法。在迭代提示和推理链中也观察到类似的顺序敏感性和锚定效应[14 (https://arxiv.org/html/2605.20194#bib.bib14)]。因此，遗漏错误、解读多样性降低以及位置主导性（将注意力集中在文本的开头和结尾，而非中间部分，即“中间迷失”现象）是仅靠扩展规模无法完全解决的问题[15 (https://arxiv.org/html/2605.20194#bib.bib15)]。

第二种失败模式是无依据合成。在分块级分析之后，必须将独立的输出合并成一个单一的全局结构。如果没有清晰的证据约束，这种合并会产生冗余、概念漂移和无依据的陈述。因此，幻觉和内容无依据仍然是大型语言模型的一个已知局限性[16 (https://arxiv.org/html/2605.20194#bib.bib16)]。在多阶段流水线中，这种风险会增加，因为更高级别的摘要可能逐渐偏离原始证据。先前关于忠实摘要和基于文本生成的研究强调了证据对齐和可追溯性的必要性[17 (https://arxiv.org/html/2605.20194#bib.bib17),18 (https://arxiv.org/html/2605.20194#bib.bib18)]。

重要的是，这些问题表明解读可靠性并不仅仅是模型能力的函数[19 (https://arxiv.org/html/2605.20194#bib.bib19)]。虽然扩展律展示了随参数增长的系统性性能提升，但扩展并不能从根本上消除顺序依赖性，也无法强制实施基于证据的支撑[20 (https://arxiv.org/html/2605.20194#bib.bib20)]。基础模型展现出强大的涌现能力[21 (https://arxiv.org/html/2605.20194#bib.bib21)]，但它们仍然对提示结构、执行动态和推理时条件设置敏感[11 (https://arxiv.org/html/2605.20194#bib.bib11),22 (https://arxiv.org/html/2605.20194#bib.bib22),23 (https://arxiv.org/html/2605.20194#bib.bib23)]。因此，方法论架构（即如何构建、约束和整合推理）在确保鲁棒性方面起着关键作用，其作用甚至超过参数数量本身。

因此，本研究通过并行证据块级独立推理（PECII）消除执行顺序依赖性，并通过强制实施显式证据锚定整合，开发并实证验证了一个结构化、抗偏差的大规模文本分解框架。具体而言，本研究旨在减少长文档分析中的遗漏错误、主导性效应和无依据陈述，同时提高可追溯性和跨模型可靠性，证明方法论的推理设计（而非仅模型规模）是鲁棒且可扩展的概念综合的主要决定因素。

本文做出四项主要贡献：
1. **顺序LLM推理中结构偏差的形式化**。我们在一个约束优化框架内对累积主导性、遗漏概率和接地可行性进行建模，为长文档分析中的顺序诱导偏差提供了理论解释。
2. **并行证据约束独立推理架构**。我们引入了一个感知边界、顺序不变的并行框架，具有显式证据验证和可靠性加权整合，以确保鲁棒的文本推理。
3. **多维评估框架**。我们设计了一个评估协议，评估解读对齐、主导性缓解、幻觉控制、可追溯性、稳定性、可扩展性和可重复性。
4. **跨模型规模的结构趋同实证证明**。并行执行减少了遗漏错误，提高了可追溯性，并降低了无依据陈述，在结构化执行下模型差异缩小。

总的来说，这些发现表明，可靠的大规模概念分解需要严格的执行结构和证据约束控制。

## 2 问题形式化

使用LLMs进行大规模文本解读在结构上受到限制。由于模型具有有限的上下文窗口，整个语料库无法一次处理完成，这迫使分析师将其分割成更小的片段。这种不可避免的分割创建了一个多阶段推理过程，其中结果取决于片段如何被处理以及后续如何合并。出现了两种反复出现的失败模式。

首先，在顺序处理中产生累积性分析偏差，早期或主导概念作为隐式先验，塑造并强化后续解读，导致微小但有意义的主题被忽视。其次，当多个分块级输出在没有严格证据约束的情况下合并时，会出现无依据合成。尽管合并压缩了内容，但也可能重写内容，引入无依据的陈述、冗余、模糊的概念边界以及增加的幻觉风险。

因此，我们将这些挑战形式化为一个约束优化问题。我们从定义语料库开始。设记录集为：
D = {T(1), T(2), ..., T(N)}. \quad (1)

每条记录表示为一个原子文本单元序列，如段落或说话者轮次：
T(n) = (u1(n), u2(n), ..., um_n(n)). \quad (2)

分块算子以一个令牌预算L将每条记录分割成连续的块：
φ_L(T(n)) → C(n) = {c1(n), ..., ck_n(n)},  s.t. tok(cj(n)) ≤ L. \quad (3)

因此，全局分块集为：
C = ⋃_{n=1}^N C(n), |C| = M. \quad (4)

因此，分析问题发生了变化。我们不再阅读完整的长文本文档，而是处理一组块。我们通过定义所有可能有效概念的全集Ω，以及语料库支持的真实但未知的概念集Ω⋆，从这些块中推断出一组抽象概念。如果一个概念至少被一个块支持，则它在Ω⋆中。我们用一个指示函数表示支持：
supp(ω; c) ∈ {0,1} \quad (5)
其中 supp(ω; c) = 1 表示块c包含概念ω的充分证据。则ω的语料库级支持为：
Supp(ω; D) = I[ ∃ c ∈ C : supp(ω; c) = 1 ]. \quad (6)

目标概念集变为：
Ω⋆ = { ω ∈ Ω : Supp(ω; D) = 1 }. \quad (7)

设A表示应用于D的推理过程，产生估计概念集Ω̂ = A(D)。核心准确性目标是Ω̂应覆盖Ω⋆。遗漏错误衡量在提取集中缺少了多少真正支持的概念：
E_om(Ω̂) = 1 - |Ω̂∩Ω⋆| / |Ω⋆| \quad (8)

现在我们对第二种失败模式进行形式化：无依据合成。每个提取的概念声称都应可追溯到证据。我们将一个声称实例建模为：
接地可行性为：
G(ω, e) = I[e ⊆ Trace(c)] · I[|q(e)| ≥ λ] · I[S(ω, e) ≥ τ] \quad (10)

对于提取的实例集Z，我们定义：
E_hall(Z) = (1/|Z|) Σ_{(ω,e)∈Z} (1 - G(ω,e)) \quad (11)

完整的理论问题现在可以写为一个单一的大约束目标：
min_{Ω̂, Z, K} [ E_om(Ω̂) + λ1 B_order + λ2 E_hall(Z) + λ3 (α1 R(K) + α2 L(K)) ] \quad (12)
约束于：
∀(ω,e)∈Z: G(ω,e) = 1, ∀K_k∈K: |D(K_k)| ≥ η \quad (13)

这个公式阐明了贡献空间。问题不仅仅是从文本中提取模式。问题是控制顺序诱导的主导性、最小化遗漏、强制实现证据可行性，并在没有冗余和泄露的情况下整合解读。PECII被设计为解决这个联合优化问题的结构性方案。

## 3 并行证据约束独立推理 (PECII)

PECII是一个用于通过LLM进行大规模文本解读的分层架构，针对总内容超出上下文限制的长文本集合，目标为解决累积性分析偏差和无依据合成（见图1 (https://arxiv.org/html/2605.20194#S3.F1)）。PECII引入了两个结构性思想。第一，通过并行块执行实现独立推理。每个块在无法访问其他块输出的情况下进行处理，消除了执行顺序依赖性。第二，证据约束合成，每个解读都需要可追溯的证据。然后，在可追溯性、多样性和冗余的显式约束下进行整合。这种设计使得输出更易于审计和复现，提高了较小模型的解读覆盖率，降低了无依据陈述，改善了连贯性和稳定性，同时减少了遗漏错误和主导性效应。它还通过并行性高效扩展。整个流水线端到端实现。下面的第0层和第1层用Python实现。

![图1：并行证据约束独立推理 (PECII)](https://arxiv.org/html/2605.20194/pecifig.png)
图1：并行证据约束独立推理 (PECII)

### 3.1 第0层：保留可追溯性的长文本文档摄取与归一化

该层将每个长文本文档转换为可追溯的文本对象。关键输出不仅是提取的文本，还有到源文档的映射。这个映射对于后面层中的证据锚定是必需的，对于可重复性和审计也是必需的。

设d表示一个文档，p表示一个页面。提取器返回一组跨度：
T_d = { (s_{d,p,r}, π_{d,p,r}) }_{p=1}^{P_d} \quad (14)
其中 π_{d,p,r} = (p, a_{d,p,r}, b_{d,p,r}) \quad (15)
s_{d,p,r} 是区域r的提取字符串，[a_{d,p,r}, b_{d,p,r}] 是页面文本流中的字符偏移量。我们将π_{d,p,r}视为最小可追溯键。它支持页面级检索和细粒度跨度检索，以及未来的引文验证。

归一化函数N(·)在保持偏移一致性的同时减少噪声。它移除重复的页眉和页脚，修复跨行断字，标准化空白，并保留说话者标签。