SFL-MTSC：利用语义框架级多任务自一致性实现鲁棒的多意图口语理解

# SFL-MTSC：利用语义框架级多任务自一致性实现鲁棒的多意图口语理解

来源：https://arxiv.org/html/2606.25552

陈晨

###### 摘要

基于提示的大型语言模型（LLM）口语理解（SLU）通常因解码随机性而导致意图-槽位结构不一致，尤其在多意图场景中尤为突出。为此，我们提出了语义框架级多任务自一致性（SFL-MTSC），一种在语义框架层面运行的新型结构化聚合框架。与输出级多数投票不同，SFL-MTSC 将预测分解为意图特定的框架，应用领域-意图分组和槽位级聚类，并通过路径支持评分评估聚类可靠性。保留可靠的框架并重新整合形成最终预测。在 MAC-SLU 基准数据集上的零样本实验显示，与单路径推理相比，槽位 F1 和整体准确率有所提升，而意图准确率在大多数设置下基本保持稳定。

###### 关键词：

口语理解（SLU）、大型语言模型、多意图自一致性

## 1 引言

口语理解（SLU）是任务导向型口语语义提取的基本范式，广泛应用于智能家居和车载系统等场景，用于解析用户口语命令以执行下游任务[tur2011spoken]。它通常包含两个核心子任务：意图检测和槽位填充[qinSurveySpokenLanguage2021]。例如，给定话语“我想知道台北的天气”，意图检测识别整体语义意图（如 GetWeather），而槽位填充提取关联参数（如 city_name=Taipei）。近年来，随着大型语言模型（LLM）的发展，基于提示的方法已成为 SLU 的一种有前途的范式，能够在无需任务特定微调的情况下实现零样本或少样本推理[panPreliminaryEvaluationChatGPT2023,gpt-slu,croprompt,xingDXANetDualTaskCrossLingual2026,liHowChatGPTRobust,10447804,aroraIntentDetectionAge2024,Gao,Lib]。

然而，基于提示的 LLM SLU 往往因解码随机性而产生不一致的意图-槽位结构，尤其是在多意图场景中，单条话语可能同时表达多个不同领域的意图[macslu]。在这种情况下，不同的解码运行可能产生冲突的语义框架，导致难以在输出层进行聚合的不可靠预测。

自一致性[self-consistency,taubenfeldConfidenceImprovesSelfConsistency2025,chenUniversalSelfConsistencyLarge,Ahmed,Nowak]已被提出，通过对多个路径进行采样并通过多数投票聚合来改进 LLM 推理。虽然之前的工作已经探索了其在 SLU 中的应用[croprompt,HIT-SCIR]，但这些方法并非为多意图设置中的语义框架结构预测而设计。LLM-as-a-judge[gu2026survey,li-etal-2025-generation]提供了一种替代方案，但需要额外的 LLM 调用，存在幻觉风险[limitationofLLMasajudge]，并且在输出级别操作，使得细粒度的框架级过滤不可行。

在这项工作中，我们提出了语义框架级多任务自一致性（SFL-MTSC），一种专为鲁棒的多意图 SLU 设计的结构化聚合框架。与输出级多数投票不同，SFL-MTSC 将预测分解为意图特定的语义框架，应用领域-意图聚类和槽位级聚类，并使用受关联规则挖掘启发的路径支持评分评估聚类可靠性[zhaoAssociationRuleMining2003,ref1]。保留可靠的框架并重新整合形成最终预测。我们的主要贡献如下：

- •我们提出了 SFL-MTSC，一种用于多意图 SLU 的框架级自一致性框架。它在输出级别以下工作，从而更好地去除虚假意图和噪声槽位预测。
- •我们引入混合 Jaccard 相似度进行槽位聚类。它结合了基于键和基于值的匹配，使得框架在槽位键名称跨推理路径变化时更加鲁棒。
- •我们在 MAC-SLU[macslu]（一个具有挑战性的中文多意图 SLU 基准）上进行了零样本实验，涵盖三种模型配置：纯文本 LLM[yang2025qwen3technicalreport]、ASR+LLM 流水线[radford2023robust,yang2025qwen3technicalreport]和端到端大型音频语言模型（LALM）[xu2025qwen25omnitechnicalreport]，展示了整体准确率和槽位 F1 的持续改进。

本工作使用的所有代码和数据将在 https://github.com/boyan1001/SFL-MTSC 公开。

## 2 提出的方法

在本节中，我们如图1（https://arxiv.org/html/2606.25552#S2.F1）所示说明 SFL-MTSC 的工作流程。与在最终输出级别操作的标准多数投票不同，SFL-MTSC 将每个推理路径分解为意图特定的语义框架，并在框架级别评估结构一致性。这使得框架能够选择性地保留由多个推理路径支持的稳定框架，同时丢弃幻觉或结构冲突的框架，从而产生更可靠的多意图预测。

![图1](https://arxiv.org/html/2606.25552#S2.F1)

图 1:SFL-MTSC 框架概述。给定输入话语 X，采样多个推理路径以构建框架池。然后通过领域-意图聚类和槽位级聚类对框架进行分组，通过路径支持进行过滤，并重新整合为最终的多意图预测 Y*。

### 2.1 多路径推理

给定输入话语 X，我们使用 K 个不同的推理路径对同一 LLM 或 LALM 进行推理，每个路径使用不同的采样温度。每个语义框架 F 是一个结构化三元组，包含领域 d、意图 i 和一组槽位-值对 s：

F = (d, i, s), s = {(k₁, v₁), (k₂, v₂), ...} (1)

路径 k 的预测由一组这样的框架组成：

Y^(k) = {F₁^(k), F₂^(k), ..., F_{m_k}^(k)} (2)

其中 m_k 是路径 k 预测的框架数量。由于模型随机性，不同路径可能对同一话语产生冲突的意图-槽位结构，尤其是在多意图场景中。SFL-MTSC 的后续阶段旨在聚合这些多样的预测并在框架级别解决此类不一致。

### 2.2 框架池构建

所有来自 K 个推理路径的语义框架被收集到一个统一的框架池中：

F = ⋃_{k=1}^{K} Y^(k) = {F_j^(k) | k ∈ {1,...,K}, j ∈ {1,...,m_k}} (3)

在池化之前，丢弃缺少领域或意图字段的框架。每个保留的框架都标注有其源路径索引 p，用于后续的自一致性评分阶段。

### 2.3 框架级聚类

构建 F 后，通过粗到细的聚类过程识别指向同一底层语义意图的框架。

#### 2.3.1 领域-意图聚类

我们首先按 (领域, 意图) 对将 F 划分为桶：

F_{d,i} = {F_j^(k) ∈ F | d_j^(k) = d, i_j^(k) = i} (4)

这防止了具有不同意图的框架被合并，并缩小了槽位级比较的搜索空间。在多意图场景中，同一意图标签可能在单个路径内的多个框架中出现，这需要在每个桶内进行进一步的槽位级聚类。

#### 2.3.2 槽位聚类

在每个桶 F_{d,i} 内，我们使用阈值相似度图对框架进行聚类，该图的连通分量被视为聚类，受 [widdowsGraphModelUnsupervised2002] 启发。框架之间的相似度通过混合 Jaccard 度量，受 Jaccard 指数 [jaccard1901etude] 启发，它通过系数 α ∈ [0,1] 插值键-值 Jaccard sim_kv 和基于值的 Jaccard sim_val，其中 v(s) 表示槽位集 s 中所有值的集合。

sim_kv(F_a, F_b) = |s_a ∩ s_b| / |s_a ∪ s_b|,
sim_val(F_a, F_b) = |v(s_a) ∩ v(s_b)| / |v(s_a) ∪ v(s_b)| (5)

sim_hyb(F_a, F_b) = α · sim_kv(F_a, F_b) + (1-α) · sim_val(F_a, F_b) (6)

sim_kv 结构精确但对键命名变化敏感；sim_val 更鲁棒但可能混淆具有巧合重叠值的框架。混合 Jaccard 平衡了二者。然后我们构建阈值相似度图 G_{d,i} = (F_{d,i}, E_{d,i})：

E_{d,i} = {(F_a, F_b) | F_a, F_b ∈ F_{d,i}, sim_hyb(F_a, F_b) ≥ τ} (7)

G_{d,i} 的连通分量被视为最终的槽位聚类，产生整体框架级聚类集合：

C_{d,i} = CC(G_{d,i}), C = ⋃_{(d,i)} C_{d,i} (8)

其中每个 C ⊆ F_{d,i} 代表一个不同的语义框架实例。

表 1:LLMs 和 LALMs 在 MAC-SLU 数据集上的主要结果，使用不同温度以及为每种提示方法应用 SFL-MTSC。对于 Vanilla Prompting，我们遵循 MAC-SLU 方法[macslu]直接使用样本单轮提示方法进行 SLU。与基线相比的性能提升/下降以蓝色/红色突出显示。最佳结果以粗体显示。

| 方法 | 文本-NLU | ASR+NLU（流水线） | 端到端 |
|------|----------|-------------------|--------|
|      | 总体准确率 | 意图准确率 | 槽位 F1 | 总体准确率 | 意图准确率 | 槽位 F1 | 总体准确率 | 意图准确率 | 槽位 F1 |
|------|------------|------------|---------|------------|------------|---------|------------|------------|---------|
| Vanilla Prompting[macslu] | 2.07 | 46.84 | 29.39 | 2.43 | 43.63 | 22.15 | 0.64 | 21.46 | 4.86 |
| +SFL-MTSC | **3.30**(+1.23) | 44.22(-2.62) | **58.25**(+28.86) | **3.39**(+0.4) | 38.31(-5.32) | **49.53**(+27.38) | **2.09**(+1.45) | 13.90(-7.56) | 4.57(-0.29) |
| CroPropmt (Intent→Slot)[croprompt] | 1.51 | 48.84 | 36.93 | 1.81 | 43.68 | 23.77 | 0.42 | 25.30 | 5.46 |
| +SFL-MTSC | 1.91(+0.40) | 46.13(-2.71) | **46.24**(+9.31) | 2.17(+0.36) | 41.44(-2.24) | **34.48**(+10.71) | **2.17**(+1.75) | 18.59(-6.71) | 4.79(-0.67) |
| CroPropmt (Slot→Intent)[croprompt] | 4.16 | **55.12** | **52.70** | 4.49 | **50.86** | 39.01 | 0.94 | 12.14 | 0.37 |
| +SFL-MTSC | **4.52**(+0.36) | 53.26(-1.86) | 52.23(-0.47) | **4.69**(+0.20) | 49.61(-1.25) | 39.54(+0.53) | **2.43**(+1.49) | 6.78(-5.36) | **3.93**(+3.56) |
| GPT-SLU[gpt-slu] | 4.07 | **58.05** | 49.06 | 4.23 | **53.52** | 43.16 | 0.18 | 14.12 | 11.24 |
| +SFL-MTSC | 4.10(+0.03) | 56.82(-1.23) | 47.33(-1.73) | 4.26(+0.03) | 50.13(-3.39) | 40.02(-3.14) | **2.13**(+1.32) | 8.16(-5.96) | 3.91(-7.33) |

### 2.4 路径支持评分

聚类后，每个聚类 C ∈ C 代表一个候选语义框架实例。然而，聚类的可靠性各不相同：单路径聚类可能反映幻觉意图，而具有冲突槽位值的聚类则表明结构不一致。受关联规则挖掘中的支持度量启发[zhaoAssociationRuleMining2003,ref1]，我们通过计算为聚类贡献框架的不同推理路径的数量来量化聚类可靠性：

sup_p(C) = |{p | ∃ F_j^(p) ∈ C}| (9)

与 CISC[taubenfeldConfidenceImprovesSelfConsistency2025] 中的响应概率（将每个推理路径作为一个整体评分）不同，我们的方法在槽位聚类级别应用基于支持的过滤，仅保留由足够多不同路径支持的聚类。这使得框架能够以比路径级评分更细的粒度过滤掉幻觉意图和噪声槽位预测。

### 2.5 基于支持的过滤

基于计算出的支持分数，我们过滤掉不可靠的聚类。类似于推理感知自一致性框架中探索的路径级过滤[wan-etal-2025-reasoning]，我们应用最小支持阈值来丢弃缺乏足够跨路径一致性的聚类。具体而言，仅保留满足以下条件的聚类：

C* = {C ∈ C | sup_p(C) ≥ ⌈K/2⌉} (10)

该支持标准丢弃了由少于一半路径支持的幻觉意图。

### 2.6 重新整合

为了将聚类重新整合到最终预测的框架中，我们直接使用框架的领域和意图。对于槽位，我们提出了一种受 CroPrompt[croprompt] 的 Token 级自一致性启发的“值优先”重新整合策略，其中代表性槽位值首先通过支持识别，然后通过多数投票确定相应的槽位键。

我们计算值支持分数，该分数统计至少包含一次值 v 的不同框架的数量。然后过滤掉支持度低于半数框架的值。

sup_V(v) = |{F ∈ C | ∃ k: (k, v) ∈ F}| (11)

V* = {v | sup_V(v) ≥ ⌈|C|/2⌉} (12)

第二步，对于每个保留的值 v ∈ V*，通过多数投票确定相应的槽位键：

k*(v) = argmax_k ∑_{F ∈ C} 𝟙((k, v) ∈ F) (13)

然后通过固定桶键中的领域和意图生成代表性框架 F*，最终槽位集构建为：

F* = (d, i, s*), s* = {(k*(v), v) | v ∈ V*} (14)

最终的多意图预测为：

Y* = {F*_C | C ∈ C*} (15)

### 2.7 处理空语义

推理路径偶尔会产生格式错误或空的输出。在框架池构建之前，丢弃缺少领域或意图字段的框架。如果生成的框架池为空，系统返回空预测 Y* = ∅。

## 3 实验

### 3.1 实验设置

#### 3.1.1 数据集

我们在 MAC-SLU[macslu] 上进行评估，这是一个用于汽车座舱场景的中文多意图 SLU 数据集，涵盖 8 个领域、81 个意图和 192 种槽位类型，每条话语最多同时包含 4 个意图。语义注释结构化为语义框架，与 SFL-MTSC 的框架级设计一致。

#### 3.1.2 模型

我们评估三种模型配置：(1) Qwen3-4B-Instruct[yang2025qwen3technicalreport] 用于基于文本的推理，(2) 一个流水线系统，结合 Whisper-Large-V3-Turbo[radford2023robust]（在 MAC-SLU 测试集上 CER = 12.83%）进行 ASR 和 Qwen3-4B-Instruct 进行 NLU，以及 (3)