EnterpriseRAG：非理想企业检索场景下LLM指令遵循与鲁棒性的基准测试

# EnterpriseRAG：在非理想企业检索场景下对LLM指令遵循与鲁棒性的基准测试

来源：https://arxiv.org/html/2608.11584

Xinbao Sun  
Bo Wang  
Fanyu Meng  
Lijun Mei  
Na Wu  
Di Jin  
Chao Deng  
Junlan Feng  
所属机构：中国移动九天研究院，中国北京  
邮箱：[miaohuiqi,sunxinbao,wangbo}@cmjt.chinamobile.com](mailto:miaohuiqi,sunxinbao,[email protected])

###### 摘要

企业级RAG部署面临一个关键的可信性缺口：虽然LLM在单项约束上的满足率最高可达84%，但只有27%的响应能同时满足所有要求，暴露了57个百分点的编排差距。现有基准假设检索干净、查询简单，无法捕捉噪声文档与多维约束并存的真实生产条件。我们提出EnterpriseRAG，一个包含983个经专家验证的样本、覆盖六个领域的基准，系统性地模拟了此前工作缺失的三种故障模式：检索噪声、知识缺口和事实冲突，并与复杂指令相结合。对13个最先进LLM的评估揭示出严重的指令遵循崩塌现象：高单项约束满足率掩盖了低整体合规率。关键发现进一步表明，在知识缺口和事实冲突场景下，即使采用推理增强推理方式，模型仍存在深层障碍，说明生产级RAG需要显式的上下文感知协议和校准判断能力。EnterpriseRAG为衡量和弥合这些差距提供了可复现的基础，直接服务于企业级RAG系统的部署决策。我们将在论文发表后发布该基准和评估框架。

关键词：RAG基准、指令遵循、LLM鲁棒性、企业检索、知识缺口、事实冲突、检索噪声

## 1 引言

企业级RAG系统面临诸如“按地区以markdown表格形式总结Q3营收。如果数据不完整，请注明’数据不可用’，不要估算。如果审计报告与管理报告存在冲突，请同时明确引用两者。”这类复杂查询，要求同时满足事实抽取、格式合规和协议遵循。这些挑战并非源于事实依据不足，而是源于根本性的评估缺口。现有基准在干净检索场景和简单查询条件下评估RAG系统(10 (https://arxiv.org/html/2608.11584#bib.bib20);8 (https://arxiv.org/html/2608.11584#bib.bib21))，而生产部署面临现有评估中缺失的三重叠加挑战：(1)融合格式规则与上下文感知证据裁定协议的复杂多约束指令；(2)延迟受限系统带来的高检索噪声，通常返回10–20篇包含大量无关内容的文档；(3)频繁的知识失效，包括由时间漂移或来源不可靠导致的覆盖缺口和事实冲突。尽管近期工作推进了鲁棒性测试(32 (https://arxiv.org/html/2608.11584#bib.bib37))和指令遵循(7 (https://arxiv.org/html/2608.11584#bib.bib17))研究，但这些工作使用合成噪声孤立地评估约束，未能捕捉真实企业工作流中多维度交互的叠加复杂性。

我们提出EnterpriseRAG，一个基于真实企业部署、包含983个经专家验证样本、覆盖六个垂直领域的基准。与先前将合成指令叠加到标准数据集上的基准不同，EnterpriseRAG反映了源自真实运营查询的多领域场景。我们保留原始用户意图，同时通过专家参与的综合协议系统性地扩展约束复杂度，并构建三种正交的非理想检索模式（无关噪声、知识缺口和事实冲突），经LLM辅助生成和人工验证双重确认。

表1：与先前RAG基准在来源、复杂度和鲁棒性方面的对比。

| 基准 | 数据集来源 | 任务 | 复杂度 | 鲁棒性 |
|------|------------|------|--------|--------|
|      | 人工精选 | 垂直领域 | 自然用户查询 | 复杂约束 | 负向拒答 | 冲突 |
| CRUD-RAG(18 (https://arxiv.org/html/2608.11584#bib.bib13)) | ✗ | ✓ | ✗ | ✗ | ✗ | ✗ |
| CRAG(29 (https://arxiv.org/html/2608.11584#bib.bib18)) | ✓ | ✓ | ✗ | ✗ | ✓ | ✗ |
| RAGBench(9 (https://arxiv.org/html/2608.11584#bib.bib14)) | ✗ | ✓ | ✓ | ✗ | ✗ | ✗ |
| RAGEval(36 (https://arxiv.org/html/2608.11584#bib.bib12)) | ✗ | ✓ | ✗ | ✗ | ✗ | ✗ |
| FollowRAG(7 (https://arxiv.org/html/2608.11584#bib.bib17)) | ✓ | ✗ | ✗ | ✓ | ✗ | ✗ |
| EKRAG(31 (https://arxiv.org/html/2608.11584#bib.bib9)) | ✓ | ✓ | ✓ | ✗ | ✗ | ✗ |
| RARE(32 (https://arxiv.org/html/2608.11584#bib.bib37)) | ✗ | ✓ | ✗ | ✗ | ✓ | ✓ |
| GaRaGe(22 (https://arxiv.org/html/2608.11584#bib.bib16)) | ✓ | ✓ | ✗ | ✗ | ✓ | ✗ |
| EnterpriseRAG（本文） | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ |

我们的评估框架在传统RAG指标基础上扩展了**严格IAS**（整体合规）与**宽松IAS**（单项约束满足）的对比，以揭示组合式遵循失败，并增加了面向安全关键场景的鲁棒性指标。对13个最先进LLM的测试显示，虽然模型能够较好地处理结构化格式要求，但在行为协议方面系统性失败，尤其是在不确定性下的判断方面，即使推理增强模型也无法达到生产部署所需的可靠性。

#### 贡献

我们的贡献包括三个方面：

- **企业级RAG基准**：我们提出EnterpriseRAG，包含983个经专家验证、覆盖六个领域的实例，将复杂多约束指令与三种受控非理想检索设置相结合，并提供可复现的构建流程。
- **综合评估框架**：我们专门为非理想上下文设计了指标：用于衡量指令遵循的**宽松/严格IAS**，以及用于评估信息缺失或冲突场景下安全关键判断能力的**拒答准确率/冲突识别准确率**。
- **实验洞见**：在13个LLM上，我们发现最高的编排差距达57个百分点（宽松IAS 83.8% vs. 严格IAS 26.8%），最佳拒答准确率仅42.7%，冲突识别率低于45%，表明不确定性下的行为判断是企业RAG的主要瓶颈。

## 2 相关工作

RAG评估已从事实正确性转向鲁棒性和指令合规性(34 (https://arxiv.org/html/2608.11584#bib.bib1);12 (https://arxiv.org/html/2608.11584#bib.bib2))。表1 (https://arxiv.org/html/2608.11584#S1.T1)展示了EnterpriseRAG在代表性基准中的位置。先前工作反复出现的一个模式是，检索质量和指令遵循被分开研究——在真实企业条件下模型能否同时满足二者，仍是未解之问。

**RAG评估范式**。早期基准聚焦于事实准确性和依据性（ALCE(10 (https://arxiv.org/html/2608.11584#bib.bib20))、RAGAS(8 (https://arxiv.org/html/2608.11584#bib.bib21))）或多跳推理(23 (https://arxiv.org/html/2608.11584#bib.bib22))。虽然存在领域特定基准((15 (https://arxiv.org/html/2608.11584#bib.bib15))；(20 (https://arxiv.org/html/2608.11584#bib.bib11))；(3 (https://arxiv.org/html/2608.11584#bib.bib19)))，但往往依赖Wikipedia等精选来源(30 (https://arxiv.org/html/2608.11584#bib.bib30))。近期框架如RAGBench(9 (https://arxiv.org/html/2608.11584#bib.bib14))、RAGEval(36 (https://arxiv.org/html/2608.11584#bib.bib12))和EKRAG(31 (https://arxiv.org/html/2608.11584#bib.bib9))提供了多维度指标和人工精选的企业样本，但缺乏对复杂指令遵循的系统评估。

**非理想检索上下文**。CRAG(29 (https://arxiv.org/html/2608.11584#bib.bib18))、CRUD-RAG(18 (https://arxiv.org/html/2608.11584#bib.bib13))和GaRaGe(22 (https://arxiv.org/html/2608.11584#bib.bib16))等基准关注动态知识库和校准问题。RGB(2 (https://arxiv.org/html/2608.11584#bib.bib8))、RARE(32 (https://arxiv.org/html/2608.11584#bib.bib37))和Magic Mushroom(33 (https://arxiv.org/html/2608.11584#bib.bib3))等引入噪声和不可回答性问题。虽然冲突(17 (https://arxiv.org/html/2608.11584#bib.bib4);4 (https://arxiv.org/html/2608.11584#bib.bib7))和缺口管理(11 (https://arxiv.org/html/2608.11584#bib.bib6))已有研究，但通常被孤立评估，与不确定性处理协议相分离。

图1：EnterpriseRAG总览。上半部分展示复杂指令模式的设计流程，下半部分分别展示非理想上下文模拟和评估指标。所有内容均由LLM自动生成并经人工质量验证。

**RAG中的指令遵循**。通用基准(35 (https://arxiv.org/html/2608.11584#bib.bib33);14 (https://arxiv.org/html/2608.11584#bib.bib32);26 (https://arxiv.org/html/2608.11584#bib.bib35);37 (https://arxiv.org/html/2608.11584#bib.bib36);21 (https://arxiv.org/html/2608.11584#bib.bib34))强调了对格式和负向约束进行严格验证的必要性。在RAG场景中，MT-RAG(16 (https://arxiv.org/html/2608.11584#bib.bib10))和CRP-RAG(27 (https://arxiv.org/html/2608.11584#bib.bib5))忽略了严格的协议遵循，而FollowRAG(7 (https://arxiv.org/html/2608.11584#bib.bib17))仍受限于合成注入和干净上下文。EnterpriseRAG瞄准两者交叉点：以运营工作流为基础、在系统性检索噪声、知识缺口和事实冲突下评估的复杂多约束指令。

## 3 EnterpriseRAG基准构建

我们从生产RAG日志构建EnterpriseRAG，共983个经专家验证的实例，覆盖六个领域（能源、医疗、法律、金融、党建和网络搜索）。所有数据均经过脱敏处理以移除个人身份信息（PII）；原始日志无法发布，但我们将发布脱敏后的基准和可复现的生成流程（详见附录A.1 (https://arxiv.org/html/2608.11584#A1.SS1)）。

#### 实例格式

每个实例是一个三元组⟨q,I,D⟩：用户查询q、融合的多约束指令集I、以及检索到的文档集合D。我们从491个真实查询出发，将其与受控非理想检索场景配对，构建983个实例（总览见图1 (https://arxiv.org/html/2608.11584#S2.F1)；子集构成见表6 (https://arxiv.org/html/2608.11584#A1.T6)）。图15 (https://arxiv.org/html/2608.11584#A5.F15)展示了一个法律领域案例研究。

#### 构建流程

我们的流程贯彻两条原则：**真实的约束复杂度**（源自企业提示词）和**受控的非理想检索**（噪声/缺口/冲突）。具体步骤为：(1) 收集并过滤查询；(2) 通过融合原子约束并消除内部矛盾来综合生成I；(3) 通过混合检索（BM25+稠密）检索文档并分配非理想模式；(4) 由专家验证指令-查询一致性和上下文有效性（附录A.2 (https://arxiv.org/html/2608.11584#A1.SS2)）。提示词模板和质量控制方案记录在附录E.1 (https://arxiv.org/html/2608.11584#A5.SS1)中。

表2：各LLM在噪声子集上的表现。表中报告为全数据集平均得分百分比。最佳和第二佳分数分别以**粗体**和下划线标注。

| 模型 | 推理范式 | RAG质量 | IAS | 宽松IAS | 忠实度 | 知识交互 | 协议 |
|------|----------|---------|-----|---------|--------|----------|------|
|      |          | 宽松 | 严格 |         |        |          |      |
| 开源模型 |          |      |      |         |        |          |      |
| Qwen3-8b | 推理 | 64.8 | 56.4 | 75.5 | 12.3 | 70.1 | 82.0 | 70.3 |
| Qwen3-14b | 推理 | 66.8 | 59.4 | 77.0 | 14.3 | 74.2 | 81.5 | 72.4 |
| Qwen3-32b | 推理 | 64.9 | 59.5 | 77.2 | 15.9 | 75.4 | 80.1 | 75.1 |
| Qwen3-235B-A22B-Thinking-2507 | 推理 | 67.1 | 64.1 | 83.8 | 26.8 | 82.2 | 86.2 | 82.5 |
| Qwen3-30B-A3B-Instruct-2507 | 标准 | 63.9 | 65.6 | 76.4 | 13.2 | 79.0 | 81.5 | 68.9 |
| Qwen3-235B-A22B-Instruct-2507 | 标准 | 67.4 | 67.1 | 80.6 | 20.8 | 82.3 | 83.6 | 76.3 |
| DeepSeek-R1-0528 | 推理 | 68.9 | 66.4 | 83.1 | 21.9 | 81.3 | 84.3 | 82.9 |
| DeepSeek-V3.1 | 标准 | 69.9 | 60.4 | 82.2 | 22.1 | 79.9 | 85.9 | 78.8 |
| GLM-4.5 | 推理 | 76.6 | 64.3 | 81.6 | 21.5 | 75.4 | 85.7 | 78.7 |
| 闭源模型 |          |      |      |         |        |          |      |
| Gemini-2.5-Pro | 推理 | 73.5 | 61.6 | 83.7 | 26.5 | 86.6 | 85.6 | 80.3 |
| GPT-4.1 | 标准 | 69.8 | 65.8 | 80.0 | 19.5 | 79.4 | 82.1 | 77.8 |
| Claude-Opus-4.5 | 推理 | 76.4 | 68.5 | 83.3 | 25.3 | 84.7 | 84.1 | 82.4 |
| Claude-Sonnet-4 | 标准 | 76.8 | 66.7 | 79.8 | 19.5 | 77.1 | 81.5 | 79.1 |

### 3.1 复杂指令模式

我们将约束组织为三个正交维度：**角色定义**、**输出约束**和**知识交互协议**。该模式在结构化格式规则之外，捕捉企业关键的行为要求（如引用、缺口识别、冲突处理）。定义和分布见附录A.3 (https://arxiv.org/html/2608.11584#A1.SS3)–A.4 (https://arxiv.org/html/2608.11584#A1.SS4)（表4 (https://arxiv.org/html/2608.11584#A1.T4)、表5 (https://arxiv.org/html/2608.11584#A1.T5)、图7 (https://arxiv.org/html/2608.11584#A1.F7)）。

图2：知识缺口子集上的指令遵循与鲁棒性对比。推理增强模型在协议遵循和拒答不可回答查询方面普遍表现出更优能力。

图3：13个模型在事实冲突子集（309例）上冲突识别率与答案覆盖率的相关系数。每个点代表一个模型。推理增强模型呈现强正相关（ρ=+0.90），而标准模型无显著关系（ρ=-0.50）。

### 3.2 非理想检索场景

我们构建了三种非理想检索场景，以在真实企业故障条件下对生成器进行压力测试：**噪声检索**（主题相似但上下文无关的文档）、**知识缺口**（检索上下文中主题相关但证据不足）和**事实冲突**（检索段落中存在矛盾陈述）。由于缺口和冲突在自然日志中较为稀疏，我们通过受控流程进行增强，同时保持领域一致性；我们还验证了合成冲突在核心鲁棒性信号上与自然冲突难度相当（附录A.5 (https://arxiv.org/html/2608.11584#A1.SS5)和附录B.2 (https://arxiv.org/html/2608.11584#A2.SS2)）。

### 3.3 评估指标

鉴于企业查询的开放性，我们报告RAG质量和指令遵循信号，不依赖标准参考答案。

**忠实度（F）**  
我们计算忠实度为F=|C_sup|/|C_total|，其中C_total表示从响应中提取的所有声明，C_sup表示得到检索上下文支持的声明。

**答案覆盖率（C）**  
C=α·(|C_ans∩R|/|C_ans|)+(1−α)·(|S_ans∩R|/|S_ans|) （1）  
其中C_ans和S_ans分别表示上下文中的核心声明和补充声明，R表示响应内容，α=0.7用于提高核心声明的权重。

**指令遵循得分（IAS）**  
我们报告：**宽松IAS**为已满足约束的比例，**严格IAS**为是否满足*全部*约束的二元得分。

**鲁棒性指标**  
针对非理想子集，我们计算：知识缺口上的**拒答准确率**，以及事实冲突上的**冲突识别准确率**。

## 4 实验

### 4.1 实验设置

**模型**  
我们评估13个LLM，覆盖开源/闭源以及标准/推理增强变体(28 (https://arxiv.org/html/2608.11584#bib.bib23);6 (https://arxiv.org/html/2608.11584#bib.bib24);19 (https://arxiv.org/html/2608.11584#bib.bib29);24 (https://arxiv.org/html/2608.11584#bib.bib25);5 (https://arxiv.or