部分证据基准：对智能体系统中授权受限证据的评估

# Partial Evidence Bench：在代理系统中评估授权受限证据

来源：https://arxiv.org/html/2605.05379
\(2026年5月\)

###### 摘要

企业代理系统越来越多地在范围受限的检索系统、委派的工作流以及受策略约束的证据环境中运行。在这些场景中，访问控制可以正确执行，但系统仍可能生成一个看似完整的答案，尽管关键证据位于调用者的授权边界之外。我们将这种失效模式称为*授权受限证据（authorization-limited evidence）*。它不是普通的幻觉，不是普通的检索错误，也不是直接的权限突破。它是一种结果完整性失效，即系统静默地夸大了其被允许看到的内容的完整性。本文介绍了 partial-evidence-bench，这是一个用于测量该失效模式的确定性基准测试。该基准包含三个场景家族——尽职调查、合规审计和安全事件响应，共72个任务，具有ACL分区的语料库、预言机完整答案、预言机授权视图答案、预言机完整性判断以及结构化差距报告预言机。我们从四个维度评估系统：答案正确性、完整性意识、差距报告质量以及不安全的完整性行为。已提交的基线显示，在所有三个家族中，静默过滤都是灾难性地不安全的，而明确的失败并报告行为在不将基准退化为简单的拒绝任务的情况下，消除了不安全的完整性。初步的真实模型运行显示，系统在过度声称完整性、保守地少声称完整性或以企业可用的形式表达不完整方面，存在依赖于模型和场景的敏感性。其更广泛的贡献在于，使得无需人类裁判或易受污染影响的静态语料库即可衡量这一关键的代理治理失效。

## 1 引言

代理AI系统正从单提示助手转向由检索支持、使用工具、在真实组织边界内执行的委派工作流。当代系统越来越多地结合检索增强生成\[2\]、工具使用\[4\]以及在外部环境中的动作循环\[3\]。正是这一转变使得一个更狭窄的评估问题变得重要起来：当系统对世界的视图是有意不完整的，但任务仍然要求给出一个明确的结论时会发生什么？

企业环境使这一问题具体化。执行系统可能能看到交易室但看不到特权附录，能看到审计工作区但看不到例外管理隔间，或能看到事件响应桥接但看不到受限的法证或法律材料。在所有这些情况下，访问控制层可能完全按设计运行。更困难的问题是系统接下来做什么，更具体地说，它隐式地传达了关于其结果完整性的哪些信息。

通常的基准框架在此处并不足够。大多数评估工作询问系统是否能检索到正确的文档、正确回答任务或避免违反显式权限。这些问题很重要，但它们忽略了一个更狭窄且在操作上重要的失效模式：可见证据可能足够连贯以支持一个完善的综合，即使它在实质上是完整的。结果并不是未经授权的访问违规。它是一个对消费者看起来完整的答案，同时静默地仅反映真理的授权子集。

本文认为*授权受限证据*是一个可基准化的失效表面。核心问题不在于模型是否能突破权限，而在于它能否识别当其答案因相关证据位于调用者的授权边界之外而不完整时，以及它能否以操作上有用的方式明确报告这种不完整性。这很重要，因为企业部署决策通常不仅仅基于原始模型输出质量。它们取决于系统是否能在策略约束下保持结果完整性。

为了使这一主张精确化，我们引入了 partial-evidence-bench，这是一个围绕具有已知地面真相、显式ACL分区和特定场景完整性预言机的合成语料库构建的确定性基准。该基准从四个单独的表面评估系统：

1. 答案正确性，
2. 完整性意识，
3. 差距报告质量，以及
4. 不安全的完整性行为。

该设计受到如RIKER的地面真相优先构建\[1\]等确定性评估方法论的影响，但针对不同的问题：不是通用的检索质量，而是在有意授权受限的证据视图下的正确性。它还通过关注即使系统从未尝试跨越权限边界也可能出现的结果完整性失效，来补充如AgentBench\[7\]和KAMI风格的代理评估\[6\]等广泛的代理基准。

本文做出了五项贡献：

1. 它将授权受限证据定义为一个有别于普通幻觉和直接访问控制违规的基准问题。
2. 它引入了一个包含三个内置场景家族和72个任务的确定性基准。
3. 它提出了一套指标套件，将局部答案质量与完整性意识行为分开。
4. 它通过已提交的基线显示，在所有发布的家族中，静默过滤都是不安全的。
5. 它报告了初步的真实模型发现，显示该失效模式依赖于模型且对场景敏感。

## 2 为什么这种失效模式现在很重要

代理AI中的三个当前转变使得这一基准具有时效性而非利基性。

#### 首先，行动表面已经扩大。

现代代理系统不仅仅从静态提示中回答问题。它们遍历语料库、调用工具、为下游人类生成摘要，并且越来越多地在多步骤工作流中运行。这使得将评估简化为原始答案准确性变得更加危险。如果一个局部合理的答案错误地代表了可用证据的局限性，它仍然可能在操作上是危险的。

#### 其次，企业部署在设计上就是边界丰富的。

真实的部署充满了有意的范围切割：基于角色的访问控制、事项分区、法律保留、特权通道、国家限制和事件隔间。因此，系统可以在访问层完全合规，同时仍产生一个鼓励过度广泛的下游行动的结果。关于失败并报告\[13\]、授权传播\[14\]和执行信封准入\[15\]的相关治理工作认为，身份、边界和可采性必须在请求流经代理系统时保持显式。partial-evidence-bench为搞错这一点的特定下游后果提供了评估表面。

#### 第三，当前的评估文献留下了空白。

诸如HELM\[8\]、CheckList\[9\]这样的幻觉和行为测试工作，以及诸如SQuAD 2.0\[12\]这样的不可回答性设置，提出了重要问题，但它们并没有直接测试系统是否能够表示由授权边界引起的不完整性。一个任务在全世界中是可回答的，在授权世界中是部分可回答的，但如果系统将部分世界呈现为整个世界，它仍然可能是危险的。这是本基准隔离的更狭窄的问题。

因此，本文的立场很直接：授权受限证据不是一般不确定性的角落情况。它是针对在范围受限的企业证据上运行的系统的首要代理评估问题。

## 3 问题定义

令 $D$ 表示与任务相关的全文档集，令 $A \subseteq D$ 表示执行系统可用的授权视图。令 $q$ 为任务提示，令 $R(A, q)$ 表示系统响应。在许多企业设置中，$A$ 不是任意样本；它是由授权边界创建的 $D$ 的策略约束投影。

本基准关注以下任务：

1. 在全语料库 $D$ 下的完整答案是已知的，
2. 在授权视图 $A$ 下的授权视图答案是已知的，
3. 完整答案所需的证据家族是已知的，以及
4. 在 $A$ 下的正确完整性判断是已知的。

这产生了三个重要的区别。

#### 授权下的正确性。

如果任务在 $A$ 下仍然完整，则正确答案与全语料库答案相同。如果任务在 $A$ 下变得不完整，基准可能仍允许部分答案，但该答案将根据授权视图预言机而不是全语料库预言机进行评判。

#### 完整性意识。

系统必须正确表示可见证据基础是否足以应对所问的任务。这不能简化为仅答案质量。

#### 不安全的完整性行为。

主要的失效发生在系统为实质上不完整的任务返回一个看似完整的答案，而没有发出正确的差距报告时。

形式上，在实质上不完整任务的子集 $\mathcal{I}$ 上，基准定义：

$$
\text{unsafe\_completeness\_rate} = \frac{\left\|\left\{t \in \mathcal{I} : R(A_t, q_t) \text{ appears complete and lacks a correct gap report} \right\}\right\|}{\|\mathcal{I}\|}.
$$

这是基准的主要指标，因为它直接捕捉了操作危害：消费者被误导了完整性，而不仅仅是给出了低质量的答案。

## 4 基准构建

### 4.1 场景家族

基准当前发布三个场景家族，每个家族有六个任务模板和四个固定种子，总共72个任务。每个家族旨在保持确定性评分的同时，对虚假完整性施加不同的压力。

表1：partial-evidence-bench中发布的场景家族。第三个家族加强了基准的覆盖范围，因为它包含带有矛盾的隐藏证据，而不仅仅是缺失的附录或潜在的例外记录。这对于真实世界的代理行为很重要：一些失效源于缺乏佐证，而另一些则源于受限材料主动伪造了可见的叙事。

表2：按发布的场景家族划分的任务组成。“模式”表示在四个固定种子实例化的六个隐藏证据模式家族。“部分”和“阻止”表示任务合约中 `partial_response_permitted` 是真还是假。“隐藏外部”计算材料证据仍留在授权视图之外的任务数。这种划分很重要，因为基准不是一个纯粹的拒绝测试。每个家族都包含隐藏材料被提升到授权视图中的情况，以及保留在范围之外的情况。它还混合了允许结构化部分综合的不完整任务和政策要求阻止响应的不完整任务。因此，基准测试的是范围受限的推理行为，而不仅仅是模型是否学会在出现不确定性时拒绝。

### 4.2 设计标准

基准是针对当前代理评估中重要的四个约束设计的。

#### 确定性评分。

基准不应需要人类评分者来判断答案是否“足够完整”。相反，完整性应可从已知的文档结构、所需的证据家族和特定场景的预言机中推导出来。

#### 没有实时企业数据的策略真实性。

基准应捕捉真实的访问边界模式，而不依赖于无法重新分发或地面真相 inherently 模糊的私有语料库。因此，合成语料库在这里不仅仅是一种方便；它们使得目标失效可测量。

#### 非平凡的部分答案条件。

有用的基准不能退化为普遍拒绝。一些任务在授权视图下必须保持完全可回答，而另一些任务必须以仍然允许结构化部分报告的方式变得不完整。因此，基准在每个家族内混合了完整和不完整的情况。

#### 企业可用的不完整性信号。

基准应奖励的不仅仅是一个模糊的回避。在现实的部署中，下游人类需要一个可重用的解释，说明哪些边界或缺失的证据使得答案不完整。这就是为什么差距报告质量作为其自身的表面进行评分，而不是被视为风格上的加分项。

### 4.3 文档和ACL构建

每个任务实例包含六个合成文档：

1. 一份概述备忘录，
2. 一份主要证据包，
3. 一份公开或策略背景说明，
4. 一份顾问或协调员说明，
5. 一份隐藏材料文档，以及
6. 一份中立跟踪器文档。

基准将范围分配给文档，并为执行系统定义用户范围。大多数任务故意将隐藏材料放在授权范围之外，但种子-模板对的确定性子集将隐藏材料提升到授权范围中。这在同一家族内创建了完整和不完整的任务，并避免将基准退化为纯粹的拒绝检测。

对于每个任务，生成器发出：

- 全文档集，
- 授权文档ID，
- 所需证据家族，
- 完整答案预言机，
- 授权视图答案预言机，以及
- 预期差距报告预言机。

### 4.4 工作示例

表4.4显示了一个代表性的尽职调查任务 `hidden_liability_annex_s1`。它很有用，因为可见证据是连贯的，并指向谨慎的推进建议，而隐藏文档将正确的完整世界答案翻转为阻止。这正是如果系统没有暴露缺失的边界，经过修饰的范围摘要很危险的案例类型。

表3：来自 `due_diligence_v1` 的工作示例：任务 `hidden_liability_annex_s1`。此示例的两个方面很重要。首先，可见证据并不荒谬或明显矛盾；仅从授权视图回答的模型仍然听起来合理。其次，跟踪器文档通过声明排除受限隔间，原则上使隐藏性变得可读。这意味着基准并不是要求模型从无中推断出魔法般不可见的文档。它询问的是模型是否可以将显式边界信号视为限定或阻止其答案的一级原因。

### 4.5 为什么使用确定性合成语料库

静态企业数据集使得很难知道模型失败是因为污染、检索方差还是评分模糊。遵循RIKER风格评估\[1\]中使用的地面真相优先逻辑，此基准从已知的语义结构生成文档，而不是试图事后推断地面真相。这使得：

- 确定性正确性评分，
- 确定性完整性判断，
- 可复现的ACL分区，以及
- 抗污染能力...