受控降解下的证据状态可靠性：多阶段LLM流水线中的解析器有效性偏离

# 可控降级下的证据状态可靠性：多阶段LLM流水线中的解析器有效性偏差
来源：https://arxiv.org/html/2608.21559  
2026年8月  

###### 摘要  
多阶段LLM流水线在下游阶段获得的证据变得不完整、被压缩或存在冲突时，仍可能保持结构有效性。本文提出并实现了**证据状态可靠性**这一评估层，关注中间证据是否保持足够的完整性、可依据性、内部一致性以及对阶段指定功能的可用性。ESR与衡量结构符合性的解析器有效性分开评估。我们在四种证据条件下对60个脱敏基础案例使用GLM-5.2进行评估：干净、有损压缩、部分缺失和有噪声冲突。每个条件都经过决策、审计和升级三个阶段处理。实验设计包含720次计划调用，最终保留713行脱敏执行数据。在九组匹配的降级-干净条件-阶段对比中，所有操作性阶段成功估计值均为负值，且95%自助法置信区间均低于零。所有九个解析器有效性点估计值均为正值，尽管部分缺失条件的三个区间包含零值。在解析器有效的降级审计输出中，每种降级条件下的降级检测率为1.0，而错误保证率保持非零；在解析器有效的降级升级输出中，所有降级条件下的恢复率均为0.0。结果表明，在被评估的流水线中存在有界的可靠性层偏差：结构符合性可能向积极方向变化，而证据敏感的阶段成功在相同控制干预下会恶化。研究还将降级证据的检测与恢复能力区分开来。结论仅限于被评估的模型配置、流水线设计、选定的脱敏案例、评分程序和单次规模运行。  

关键词：证据状态可靠性；大语言模型；多阶段AI流水线；解析器有效性；证据充分性；可控降级；计算审计；升级；可靠性级联  

## 1 引言  
大语言模型正越来越多地作为多阶段系统的组成部分，而非仅作为独立的问答工具。流水线可能接收或检索证据，将该证据转换为中间表示，生成决策，通过审计组件检查决策，并将困难案例路由到升级机制。在此类系统中，可靠性不仅取决于最终输出，还取决于阶段间传递的证据。证据在到达下游组件之前可能已经恶化。相关信息可能在压缩过程中被移除、通过部分数据丢失被忽略，或因冲突信号而难以调和。后续阶段可能因此收到对其指定功能不再充分的证据状态，同时继续生成流畅、语法有效且机器可读的输出。这产生了仅靠结构验证无法捕捉的可靠性问题。  

解析器有效的响应满足形式化输出契约，例如包含必需字段的语法有效JSON。解析器有效性并不确立可用证据是否充分、适当依据、内部一致或可用于该阶段指定的实质功能。因此，即使其证据基础已经恶化，结构有效的对象仍可在自动流水线中继续传递而不产生技术异常。  

本文提出并实现了*证据状态可靠性*作为多阶段AI流水线的评估层。ESR关注提供给阶段的证据是否保持足够的完整性、可依据性、内部一致性以及可用于该阶段指定的证据敏感功能。因此，中间证据状态被视为显式评估对象，而非仅通过最终输出间接评估。ESR并非旨在替代准确性、校准性、鲁棒性、忠实度、解析器验证或解释评估。这些度量评估系统行为的不同属性。解析器有效性询问输出是否满足结构契约。ESR关注阶段可用证据能否支持分配给该阶段的功能。在本研究中，阶段特定成功被用作ESR的操作性指标，但不被视为该更广泛构念的穷尽测量。  

核心研究问题是：  
> *如何在多阶段LLM决策流水线中，将证据状态可靠性与解析器有效性分开测量？*  

三个辅助研究问题指导分析：  
1. RQ1：解析器有效性和证据敏感的阶段成功对控制的证据降级是否响应不同？  
2. RQ2：审计阶段成功检测到降级证据是否会导致后续升级阶段的恢复？  
3. RQ3：当决策、审计和升级结果一起分析而非作为孤立输出时，会呈现什么序列级失败模式？  

为研究这些问题，本研究使用控制的案例内实验，基于消费者金融保护局消费者投诉数据库上下文生成60个脱敏基础案例。每个基础案例在四种证据条件下呈现：干净实验基线、有损压缩证据、部分缺失证据和有噪声冲突证据。每个条件通过三个流水线阶段处理：决策、计算审计和升级。因此，计划的实验设计包括60案例×4证据条件×3阶段=720次模型调用。跨条件保持基础案例身份，以便每个降级观察可与同一案例和流水线阶段的相应干净观察进行比较。  

实验检验结构符合性和证据敏感的阶段成功对相同证据干预是否响应不同。在九组匹配的降级-干净条件-阶段对比中，所有操作性阶段成功估计值均为负值，所有对应的95%自助法置信区间均低于零。相比之下，所有九个解析器有效性点估计值均为正值，尽管三个部分缺失解析器有效性区间包含零值。因此，在被评估的流水线中，结构符合性向积极方向移动，而证据敏感的阶段成功在相同控制干预下恶化。  

下游阶段揭示了第二个区别。在解析器有效的降级审计输出中，实现的审计指标在每个降级条件下都检测到了降级。然而，检测并不意味着恢复。审计错误保证率保持非零，且没有解析器有效的降级输出被分类为已恢复。因此，在本研究中，证据问题的检测与成功证据敏感结果的恢复被视为独立的流水线功能。  

本研究做出四项有限贡献。第一，它在阶段感知评估框架内将解析器有效性、证据敏感阶段成功、可靠性层偏差和格式层错误保证作为不同度量进行操作化。第二，它在决策-审计-升级序列中应用控制的证据状态干预，同时跨实验条件保持基础案例身份。第三，它报告匹配的条件-阶段对比和非参数自助法置信区间，而非仅依赖汇总性能值。第四，它将阶段级行为与序列级可靠性模式联系起来，以区分解析器失败、已检测但未恢复的降级、审计错误保证、不完整执行和保持的成功。  

所得到的框架旨在作为评估中间证据状态和阶段转换的诊断方法。研究结果并未确立普遍的LLM不可靠性，也未表明证据降级通常会改善解析器有效性。它们仅限于被评估的GLM-5.2配置、流水线设计、控制的证据条件、选定的脱敏案例、评分程序和单次规模实验运行。研究同样未确立部署安全性、监管有效性、投诉真实性、消费者伤害普遍性、独立于提供商的行为或跨模型通用性。  

## 2 相关工作  
### 2.1 超越汇总正确性的评估  
可靠性并非总是能由单个汇总性能度量表示。行为测试框架如CheckList将模型性能分解为面向能力的评估，而非假设留出准确性捕捉行为的每个相关方面（15）。校准研究同样区分预测正确性和报告置信估计的可靠性（6）。检索增强生成评估遵循相关的多维方法。RAGAS区分包括忠实度、上下文相关性和答案相关性在内的属性，而ARES评估促成检索增强生成性能的多个组件（3；16）。这些方法说明了与本研究相关的一个更广泛原则：一个输出可能满足一个评估标准，同时在另一个标准下仍然不足。证据状态可靠性采用这种分层视角，但侧重于流水线中间阶段可用的证据。ESR不将最终答案质量视为唯一评估对象，而是检查阶段是否收到能够支持其指定证据敏感功能的证据。  

### 2.2 结构有效性和证据充分性  
当语言模型响应必须被下游软件自动消费时，结构化输出很重要。语法约束解码及相关方法可以改善对形式化输出规范的遵守（5）。结构化输出评估的工作进一步区分形式有效性与值正确性、可执行性和任务性能等属性（14；17）。本研究并非声称源自结构有效性和实质充分性之间的区别。相反，它研究结构有效性和证据敏感的阶段成功如何响应向同一流水线提供证据的控制变化。  

解析器有效性在决策、审计和升级阶段独立测量，允许其在相同条件-阶段组合下对证据降级的响应与证据敏感成功进行比较。证据充分性也在事实核查、检索和选择性生成中被研究。使用不充分证据进行事实核查的工作展示了区分可支持的主张与可用证据不充分的主张的重要性（1）。关于充分性感知检索和延迟真实性的相关工作进一步考虑了证据可用性如何影响任务是否可回答或可可靠执行（12；18）。ESR将这一关注点从支持端点答案的证据扩展到多阶段序列中的证据状态。在本实验中，同一基础案例的控制版本通过决策、审计和升级阶段处理，使得不仅可以检验降级是否影响阶段成功，还可以检验它是否被检测以及下游机制是否从中恢复。  

### 2.3 组件感知评估、审计和恢复  
多阶段和代理系统的评估日益考虑组件级行为而非仅最终输出。AgentBench评估交互式语言模型代理所需的能力（8），而检索增强生成框架单独评估促成最终响应的组件（3；16）。组件级评估可以揭示故障在序列中出现的位置以及后续阶段如何响应它。  

术语*审计*需要特别注意。算法审计研究涉及更广泛的组织流程，包括文档、问责、治理和机构实践（13）。本研究中的审计阶段更窄：它是一个计算性、模型输出编码的组件，记录是否检测到证据降级以及是否出现实验性错误保证指标。它不是独立的机构审计，也不确立监管保证。  

选择性预测和延迟学习研究同样区分预测与弃权、转介和专家干预（4；10）。此处评估的升级阶段并非学习到的最优延迟策略。其作用是衡量在降级进入流水线后，实现的下游机制是否恢复。这一区别对本设计至关重要，因为检测到可靠性问题和恢复成功操作是独立的结果。  

### 2.4 可靠性级联  
级联故障是一个长期存在的系统概念，指局部中断通过连接结构传播（9）。近期关于多代理语言模型系统的工作同样研究了错误或幻觉如何在交互组件或代理之间传播（20；7）。术语*可靠性级联*在本研究中使用得更窄。它指一种操作性的序列级模式，其中解析器故障、证据敏感故障、已检测但未恢复的降级、错误保证或不完整执行阻止了通过被评估的决策-审计-升级序列的成功路径保持。这种分类法是诊断性的，而非级联故障的一般理论。它区分结构不同的序列结果，使得解析器故障、已检测但未恢复的降级、错误保证和不完整执行不会被折叠成单一端点分数。因此，由此产生的级联率仅被解释为被评估实验序列的总结，而非已部署AI系统中故障普遍性的估计。  

### 2.5 本研究定位  
上述文献涉及与证据状态可靠性相关的几个组成部分：多维评估、结构化输出有效性、证据充分性、组件级评估、计算审计、选择性预测、延迟、恢复和级联故障。本研究并非声称这些单独的想法是新的。它的贡献在于...