IDRAAK：从多智能体NLP到少样本提示的技术需求语义漂移检测

# IDRAAK：从多智能体 NLP 到少样本提示的技术需求语义漂移检测
来源：https://arxiv.org/html/2608.08801
###### 摘要

将技术需求跨语言翻译可能引入语义漂移，从而改变数值约束、极性、模态或其他对规范至关重要的含义。IDRAAK 作为一个可解释框架被提出，它使用与语言无关的语义需求表示（Semantic Requirement Representation, SRR）来检测此类漂移，并评估了六种检测工作流，范围从确定性比较到多智能体验证和少样本提示。在来自 10 个工程领域的 300 条需求上的 890 个合成扰动中，使用六个少样本示例的单次 LLM 调用实现了 MCC=0.888 和 F1=0.983，优于所评估的结构化和多阶段替代方案。进一步在 PAWS-X[12 (https://arxiv.org/html/2608.08801#bib.bib12)]（805 对，5 种语言）和 XNLI[13 (https://arxiv.org/html/2608.08801#bib.bib13)]（700 对，7 种语言）上的评估揭示了结构化方法与基于 LLM 的方法各自的互补优势与局限。确定性 SRR 比较在技术需求上表现强劲（F1=0.898），但在通用领域文本上表现不佳（F1=0.012），而结构化证据能提升对对抗性改写的性能。事后 Platt 缩放进一步改善了置信度校准。结果表明，增加智能体复杂性并不一定能改善语义漂移检测，而简单的少样本提示可以提供一种强大且高效的替代方案。

✓开源：https://github.com/shivaahir158/idraak

## I 引言

技术需求定义了管理航空航天、汽车、医疗和工业领域安全关键系统的精确规范[1 (https://arxiv.org/html/2608.08801#bib.bib1)]。当这些需求被跨语言翻译时，会面临语义漂移的风险：即在保持表面流畅性的同时，产生改变数值约束、反转极性、削弱模态或重构条件逻辑的细微含义偏移[2 (https://arxiv.org/html/2608.08801#bib.bib2)]。与一般翻译错误不同，此类漂移可能引入灾难性规范缺陷，例如“shall respond within 50 milliseconds（应在 50 毫秒内响应）”变成“should respond within 50 microseconds（应在 50 微秒内响应）”。

图1 (https://arxiv.org/html/2608.08801#S2.F1) 说明了这一跨语言问题：语义忠实的翻译尽管存在词汇差异，仍保留了底层技术约束；而漂移的翻译可能在保持语法流畅的同时改变数值或模态。

现有的翻译质量指标不足以完成此任务。BLEU[5 (https://arxiv.org/html/2608.08801#bib.bib5)] 衡量表面重叠度，对改变含义的替换不敏感。BERTScore[8 (https://arxiv.org/html/2608.08801#bib.bib8)] 和 COMET[6 (https://arxiv.org/html/2608.08801#bib.bib6)] 等神经指标能够捕捉语义相似性，但生成的是不透明的标量分数，无法指出发生了什么变化或为何变化。跨语言嵌入[30 (https://arxiv.org/html/2608.08801#bib.bib30)] 同样缺乏工程审查与认证工作流所需的结构化可解释性。

大语言模型为语义评估提供了新的可能性[16 (https://arxiv.org/html/2608.08801#bib.bib16),15 (https://arxiv.org/html/2608.08801#bib.bib15)]，并且多智能体架构也被提出通过专门智能体协作来提高可靠性[19 (https://arxiv.org/html/2608.08801#bib.bib19),21 (https://arxiv.org/html/2608.08801#bib.bib21)]。然而，多智能体复杂性是否比更简单的提示方法更能改进漂移检测，仍然缺乏实证检验。

本文提出 IDRAAK（Interpretable Drift Recognition with Agent-Augmented Knowledge，即“带有智能体增强知识的可解释漂移识别”），这是一个用于检测多语言技术需求中语义漂移的可解释框架。本文的贡献包括：

1. 1.一种语义需求表示（Semantic Requirement Representation, SRR），将需求分解为与语言无关的类型化组件，包括数值约束、模态、条件、时间表达式和领域实体，从而支持对 15 个漂移类别进行确定性的字段级比较。
2. 2.对六种检测工作流的系统比较，涵盖确定性比较、单智能体混合提取、少样本直接提示、将结构化证据与 LLM 判断相结合的集成方法、带有八个专门智能体的完整多智能体验证，以及回译。
3. 3.实证证据表明，来自 10 个工程领域的 300 条需求上的 890 个扰动中，使用六个少样本示例的单次 LLM 调用（MCC=0.888）显著优于所评估的结构化和多阶段配置，证明增加架构复杂性并不一定能改善漂移检测。并在 PAWSX[12 (https://arxiv.org/html/2608.08801#bib.bib12)] 和 XNLI[13 (https://arxiv.org/html/2608.08801#bib.bib13)] 基准上进一步验证，展示了跨领域泛化能力。

## II 相关工作

### II-A 需求工程中的 NLP

自然语言处理已被广泛用于需求工程任务，包括歧义检测、一致性检查和自动分类[33 (https://arxiv.org/html/2608.08801#bib.bib33),32 (https://arxiv.org/html/2608.08801#bib.bib32)]。Berry 等人[2 (https://arxiv.org/html/2608.08801#bib.bib2)] 对软件规范中的语言歧义来源进行了编目，为漂移分类法提供了基础类别。然而，大多数工作集中在单语英语需求上。跨语言需求分析仍未被充分探索，尤其是检测翻译过程中引入的含义偏移，而非规范本身固有的缺陷。

### II-B 翻译质量估计

传统翻译评估依赖于基于参考的指标。BLEU[5 (https://arxiv.org/html/2608.08801#bib.bib5)] 衡量 n-gram 重叠度，但对表面相似但语义显著变化的替换不敏感。包括 BERTScore[8 (https://arxiv.org/html/2608.08801#bib.bib8)]、COMET[6 (https://arxiv.org/html/2608.08801#bib.bib6)] 和 BLEURT[7 (https://arxiv.org/html/2608.08801#bib.bib7)] 在内的神经学习指标利用上下文嵌入来提高语义敏感性，近期的 WMT 评估也证明了它们优于表面指标[9 (https://arxiv.org/html/2608.08801#bib.bib9)]。然而，这些指标产生的是标量相似性分数，没有结构化解释，因此在安全关键领域中，当审查者必须准确理解哪些技术属性发生了变化时，它们并不适用。基于 SRR 的比较通过为每个检测到的漂移生成字段级证据来弥补这一不足。

参见图注 图 1：通过结构化需求比较进行跨语言语义漂移检测。印地语翻译保留了源语义，而中文翻译引入了数值和模态漂移。
### II-C 语义文本相似性与改述检测

语义文本相似性（STS）已通过共享任务[10 (https://arxiv.org/html/2608.08801#bib.bib10),11 (https://arxiv.org/html/2608.08801#bib.bib11)] 和专门基准得到了广泛研究。PAWS-X[12 (https://arxiv.org/html/2608.08801#bib.bib12)] 提供了对抗性跨语言改述对，其中高词汇重叠与不同含义并存，因此特别适合评估漂移检测的鲁棒性。XNLI[13 (https://arxiv.org/html/2608.08801#bib.bib13)] 将自然语言推理扩展到 15 种语言，从而支持对语义推理进行跨语言评估。XLM-RoBERTa[30 (https://arxiv.org/html/2608.08801#bib.bib30)] 和多语言 Sentence-BERT[29 (https://arxiv.org/html/2608.08801#bib.bib29)] 等跨语言句子编码器为相似性任务提供了强基线，但与标量指标一样，缺乏属性级别的可解释性。这项工作与标准 STS 的不同之处在于，它面向结构化技术内容，其中单个字段（如单位或数值）中的漂移就构成有意义的语义变化，而聚合相似性分数可能会漏掉这种变化。

### II-D 大语言模型作为评估器

当提供适当的提示时，LLM 已展现出作为文本评估器的强大性能[16 (https://arxiv.org/html/2608.08801#bib.bib16)]。Brown 等人[15 (https://arxiv.org/html/2608.08801#bib.bib15)] 确立了少样本提示可以在不进行微调的情况下实现任务适配，后续工作表明示例选择会显著影响上下文学习效果[23 (https://arxiv.org/html/2608.08801#bib.bib23),24 (https://arxiv.org/html/2608.08801#bib.bib24)]。思维链提示[17 (https://arxiv.org/html/2608.08801#bib.bib17)] 进一步改善了复杂任务上的推理能力。直接评判工作流正是基于这些发现，证明六个经过精心挑选、覆盖代表性漂移类型的少样本示例就足以在无需任务特定训练的情况下实现强大的检测性能。

### II-E 多智能体 LLM 系统

多智能体框架将复杂任务分解给多个专门的基于 LLM 的智能体，它们通过结构化交互进行协作。AutoGen[19 (https://arxiv.org/html/2608.08801#bib.bib19)] 支持灵活的多智能体对话，MetaGPT[20 (https://arxiv.org/html/2608.08801#bib.bib20)] 为软件开发中的智能体分配不同角色，并且多智能体辩论已被证明可以改善事实性和推理能力[21 (https://arxiv.org/html/2608.08801#bib.bib21),22 (https://arxiv.org/html/2608.08801#bib.bib22)]。其基本假设是，具有明确职责的专门智能体优于整体式方法。这项工作在语义漂移检测背景下对该假设进行了受控实证检验，发现智能体边界间的错误传播超过了专业化带来的收益，而更简单的工作流持续取得更优性能。

### II-F 置信度校准

现代神经网络和 LLM 通常校准不佳，其置信度分数不能反映真实的正确概率[25 (https://arxiv.org/html/2608.08801#bib.bib25),28 (https://arxiv.org/html/2608.08801#bib.bib28)]。包括 Platt 缩放[26 (https://arxiv.org/html/2608.08801#bib.bib26)]、等张回归[27 (https://arxiv.org/html/2608.08801#bib.bib27)] 和温度缩放[25 (https://arxiv.org/html/2608.08801#bib.bib25)] 在内的事后校准方法可以在不重新训练的情况下提高可靠性。本文将这些方法应用于漂移检测置信度分数，并证明 Platt 缩放可将期望校准误差从 0.452 降低到 0.013，这对于安全关键需求审查中的下游决策是一个重要性质。

### II-G 文本生成中的忠实性

抽象式摘要中的忠实性[39 (https://arxiv.org/html/2608.08801#bib.bib39)] 和幻觉检测[40 (https://arxiv.org/html/2608.08801#bib.bib40)] 的相关工作同样关注含义保留，但它们是在生成语境中而非翻译验证语境中进行的。回译已被研究为一种数据增强技术[42 (https://arxiv.org/html/2608.08801#bib.bib42)]，也被用作翻译忠实性的质量指标。本文将回译作为六种工作流之一，使往返一致性验证成为语义漂移检测的补充信号。

参见图注 图 2：IDRAAK 框架（W5）的架构。该系统包含五个阶段和八个专门智能体，用于跨语言漂移检测。W3 和 W4 表示简化的工作流变体。

## III 方法论

### III-A 语义需求表示

IDRAAK 的核心是语义需求表示（SRR），它是一种与语言无关的结构化形式，将技术需求分解为类型化组件。给定需求文本 rr，提取函数 E(r)→S\mathcal{E}(r)\rightarrow S 生成一个 SRR SS，其中包含：

- •行为者（Actor）、动作（Action）、对象（Object）：对目标执行动作的主体
- •模态（Modality）：义务级别（强制、推荐、允许、可选、禁止）
- •极性（Polarity）：肯定或否定断言
- •数值约束（Numerical constraints）：参数-运算符-数值-单位元组（例如，latency≤\le50 ms）
- •条件（Conditions）：类型化子句（if、when、unless、only_if），支持可选嵌套
- •时间约束（Temporal constraints）：时序关系（before、after、within），带有数值和参考事件
- •顺序约束（Ordering constraints）：事件之间的排序（first、second、严格/非严格）
- •例外（Exceptions）：排除子句（unless、except、provided_that）
- •实体与关系（Entities and Relations）：带有角色和类型化谓词的命名领域对象

所有组件均定义为 Pydantic v2 模型[41 (https://arxiv.org/html/2608.08801#bib.bib41)]，并带有严格类型验证。该表示的设计目标是：在不同语言中含义相同的两条需求能够产生结构等价的 SRR。

### III-B SRR 提取

本文实现了三种提取策略。确定性提取使用正则表达式和模式匹配来解析模态标记、带单位数值、条件关键词、时间表达式和极性指示符。它速度快且可复现，但仅限于显式编码的模式。LLM 提取提示 LLM 以 JSON 形式生成结构化 SRR，从而捕捉难以通过模式匹配获得的语义内容。混合提取同时运行这两种方法，并使用优先级策略合并结果：在比较关键字段（数值约束、模态、极性、单位）中，确定性值始终覆盖 LLM 输出；而在确定性提取无结果的字段（实体、关系、限定符）中，则使用 LLM 输出。这一合并策略至关重要：没有它，LLM 提取会在确定性解析已经准确的字段中引入噪声。

### III-C 漂移检测

给定源需求 rsr_{s} 和候选翻译 rcr_{c}，漂移检测首先提取 SRR Ss=E(rs)S_{s}=\mathcal{E}(r_{s}) 和 Sc=E(rc)S_{c}=\mathcal{E}(r_{c})，然后计算字段级差异。比较引擎执行单位感知的数值匹配（例如，识别 1 kB = 1024 字节）、运算符兼容性检查、模态顺序比较、极性对齐，以及实体和条件的基于集合的匹配。每个差异被分类为 15 种漂移类型之一：数值、单位、极性、模态、条件、时间、阈值、实体、关系、例外、省略、添加、术语、范围和引用。差异被赋予严重性级别（无、低、中、高、严重），并聚合成带有相关置信度分数的二元漂移决策。

### III-D 检测工作流

图2 (https://arxiv.org/html/2608.08801#S2.F2) 概述了 IDRAAK 架构以及所评估工作流之间的关系。完整的 W5 配置执行多智能体全流程，而 W3 和 W4 则绕过该流程的某些部分，以评估更简单的决策机制是否能够实现可比或更优的语义漂移检测。本文实现了复杂度递增的六种工作流：

（W1）确定性比较。使用基于正则表达式的解析提取 SRR，并确定性地比较字段。生成可解释的字段级证据，但仅限于提取规则中存在的模式。