LLMs何时能取代微调NLU？生产会话系统中意图检测的决策框架

# 大语言模型何时能替代微调NLU？面向生产对话系统意图检测的决策框架
来源：https://arxiv.org/html/2608.20371
###### 摘要
一种常见说法认为，零样本大语言模型（LLMs）可以替代微调NLU分类器用于意图检测。我们对此进行了直接检验，发现真实的答案是*取决于意图空间*。在完整的ATIS和CLINC150数据集上，我们对比了微调RoBERTa、TF-IDF+逻辑回归基线、句子嵌入kkNN和Claude Haiku零样本模型，并报告了95%置信区间的自助法结果和配对显著性检验。当存在充足的领域内标签时，微调RoBERTa的表现与LLM相当或更优，且成本和速度快三个数量级：在ATIS上，它以11.8个百分点的优势击败Claude零样本模型（95.9% vs. 84.1%，p<10⁻³）。在涵盖150种意图的广谱CLINC150方案中，两者*统计上无显著差异*（89.1% vs. 88.5%，p=0.24）：大语言模型在无训练数据的情况下达到了与全监督模型相当的性能。LLM的优势体现在三个与生产环境相关的场景中。首先是意图范围外检测（OOS召回率85.6% vs. RoBERTa的58.1%）。其次是面对真实语音识别噪声时的鲁棒性，我们使用受控的文本转语音→噪声→Whisper处理流程进行了测试（0 dB信噪比下92.5% vs. 80.0%）。第三，也是最关键的一点，是*动态的、按部署划分的意图方案*：针对一个应用意图训练的分类器，在新应用的意图书上得分为0%，而采用方案提示的LLM无需重新训练即可在两个应用上都达到约94%的准确率。我们将这些发现提炼为面向实践者的决策框架。

大语言模型何时能替代微调NLU？面向生产对话系统意图检测的决策框架

Carson Rodrigues，Celabe [email protected]；Oystern Vas，滑铁卢大学 [email protected]

## 1引言

在任务导向对话中，意图检测将语句映射为动作：“我的余额是多少？”→ account_balance。自2019年以来，微调BERT/RoBERTa分类器一直是标准解决方案（Devlin等人，2019；Liu等人，2019；Chen等人，2019）。近期研究表明，指令微调LLM在零样本场景下具有竞争力（Wei等人，2021；Zhong等人，2023；Arora等人，2024）。这引发了一个从业者反复提出的问题，以及一个反复出现的过度主张：*我们能否放弃微调模型，直接提示LLM？*

我们认为这个问题表述不够明确，并回答了生产环境中实际重要的具体问题：*何时*每种方法会胜出，在*哪个*维度（准确性、延迟、成本、鲁棒性、适应性），以及在意图空间具有*何种*属性时？我们的视角来自运营一个生产级语音AI平台，在该平台中，每个客户应用都部署自己的UI动作集，即每个部署都有新的意图方案，且通常标注数据很少或没有。

我们做出三项贡献：
1. 在完整的ATIS（893条测试用例）和CLINC150（5,500条测试用例）上，对微调RoBERTa、TF-IDF+LR、句子嵌入kkNN和Claude Haiku零样本模型进行了*严格的直接对比*，报告了自助法95%置信区间和配对自助法/McNemar显著性检验，而非仅在少量样本上进行单次运行的点估计。
2. 设计了三个*与生产相关的压力测试*，以隔离LLM价值的真正所在：显式的范围外检测、基于真实词错率分层的语音识别鲁棒性，以及一个*动态方案实验*，其中微调模型和LLM面对一个前所未见的应用方案。
3. 提出了一个*决策框架*，将意图空间属性映射到正确的工具，包括微调模型不仅效果更差而且*根本不适用*的场景。

我们的主要发现与主流叙事相悖：在一个稳定、数据丰富、狭窄的领域（ATIS），LLM的效果显著*更差*，且成本远高于微调分类器。它的价值是真实但*有条件的*。当意图空间开放、动态或标签稀缺时，以及当需要处理范围外问题时，它占据主导地位。

## 2相关工作

#### 微调NLU。
词袋分类器（Liu和Lane，2016）让位于基于BERT的意图分类器（Devlin等人，2019；Chen等人，2019），后者在ATIS（Hemphill等人，1990）和SNIPS（Coucke等人，2018）数据集上仍是当前最佳。Larson等人（2019）引入了CLINC150数据集，明确包含一个范围外类别，以突出封闭集分类器的公认弱点。少样本学习方法（Zhang等人，2021；Yehudai和Bendel，2024）减少但并未消除对每个意图标签的依赖；Yehudai和Bendel（2024）进一步表明，当类别很多时，LLM的上下文学习变得不切实际，而约1毫秒的编码器模型仍然具有吸引力。

#### 用于意图检测的LLM。
Wei等人（2021）和Brown等人（2020）确立了强大的零/少样本分类能力。Zhong等人（2023）在NLU基准测试中对比了ChatGPT与微调BERT（零样本表现有竞争力，但在全数据场景下低于微调模型）。与我们最接近的工作是Arora等人（2024），他们大规模研究了LLM意图检测，发现范围外处理的质量由标签空间的大小和范围决定，且基于不确定性的路由方法能在保持一半延迟的情况下恢复LLM的大部分准确率。我们的区别在于：（i）直接测试*动态的、按部署划分的方案*场景，（ii）衡量*真实*的语音识别鲁棒性而非合成的字符噪声，以及（iii）将结果表述为部署决策而非基准测试排名。

#### 动态方案与范围外处理。
方案引导对话范式（Rastogi等人，2020）及其鲁棒性基准SGD-X（Lee等人，2022）将推理时提供的自然语言方案形式化为意图，这正是我们所研究的按应用划分的场景。我们将其操作化为一种不相交方案的迁移测试。

#### 延迟与语音识别。
亚秒级响应是对话系统的标准要求（Levinson和Torreira，2015；Anyscale，2024），而提示压缩则用令牌数量换取延迟（Pan等人，2024）。对于鲁棒性测试，我们合成了语音，注入了分级噪声，并使用Whisper（Radford等人，2023）进行转录；SLURP（Bastianelli等人，2020）是我们在“局限性”部分讨论的替代真实音频方案。

## 3数据集与方法

### 3.1数据集
我们使用两个完整的公开基准测试数据集。
ATIS（Hemphill等人，1990）：4,978条训练样本 / 893条测试样本，涵盖标准26意图标签空间（训练集包含22个意图；测试集约71%为航班相关），这是一个狭窄且高度不平衡的航班领域数据集。
CLINC150（含配置）（Larson等人，2019）：15,250条训练样本 / 5,500条测试样本，涵盖10个领域的150个领域内意图，以及1,000条显式的范围外测试语句。ATIS代表了稳定、狭窄、数据丰富的场景；CLINC150则代表了具有内置范围外维度的广谱方案场景。

### 3.2系统模型
TF-IDF+LR：使用词/二元组TF-IDF特征和类别平衡的逻辑回归，作为我们的设备端基线。
ST+kkNN：使用all-MiniLM-L6-v2句子嵌入（Reimers和Gurevych，2019）和余弦相似度kkNN；我们还报告了一个5样本变体（1-NN）作为低数据部署的竞争方案。
RoBERTa-ft：roberta-base（Liu等人，2019）微调四个周期，作为我们的监督模型上限。
Claude Haiku（claude-haiku-4-5）：零样本模型，使用意图标签集和JSON输出格式进行提示；批量评估使用Anthropic Message Batches API。

### 3.3统计协议
所有准确率均报告百分位数自助法95%置信区间（10,000次重抽样）（Efron和Tibshirani，1986）；由于ATIS数据集高度不平衡，我们同时报告宏观F1值。对相同测试项的系统对比使用准确率差异的配对自助法检验和McNemar检验。这直接解决了对单次运行点估计的小样本、无方差批评。

### 3.4范围外检测协议
在CLINC150上，我们报告领域内准确率以及范围外的召回率、精确率和F1值，将显式的oos类别视为正类（Larson等人，2019）。LLM被允许回答oos；分类器则从plu训练集中学习该类别。

### 3.5动态方案（方案切换）协议
为模拟新应用的上线过程，我们将CLINC150的150个领域内意图确定性地划分为两个不相交的应用方案A和B（各75个意图）。一个“锁定”的RoBERTa仅在应用A上微调；其分类头在物理上只能输出应用A的标签。然后我们评估每个模型在每个应用上的表现。方案驱动的LLM在推理时*仅接收*相关应用的标签列表。

### 3.6语音识别鲁棒性处理流程
我们没有使用合成的字符替换，而是构建了一个具有已知真值的受控流程：使用商用神经网络TTS语音合成120条CLINC语句，用加性白噪声在{清洁, 20, 10, 5, 0} dB信噪比下进行降质，然后使用Whisper-base（Radford等人，2023）进行转录。词错率（jiwer，标点/大小写归一化）定义了分层；然后对降质后的转录文本进行分类。

## 4结果

### 4.1领域内准确性：数据丰富的场景有利于微调模型
表1（https://arxiv.org/html/2608.20371#S4.T1）报告了准确率（含95%置信区间）和宏观F1值。在ATIS上，微调RoBERTa（95.9）甚至TF-IDF+LR（95.2）都明显优于Claude零样本（84.1）；配对自助法显示RoBERTa-Claude的差距为+11.8个百分点（置信区间[9.2, 14.4]，p=2×10⁻⁴；McNemar检验p=2.5×10⁻¹⁶）。这种差距部分源于ATIS的特殊性：其独特的复合意图（例如flight+airfare）难以用扁平标签列表表达，而零样本模型经常返回看似合理但非标准的组合，这也降低了其宏观F1值（42.4）。无论具体原因如何，更广泛的结论依然成立：在一个狭窄、稳定、标签明确的领域，LLM的表现显著更差，且如§4.5所示，其速度慢约10³倍，成本也更高。在CLINC150上，差异仅为0.6个百分点（95%置信区间[-0.4, +1.7]，p=0.24）：RoBERTa（89.1）和Claude（88.5）在统计上无法区分，且LLM在*零*训练数据的情况下达到了这一水平。表1中的CLINC150准确率包含了1,000条范围外测试项，每个系统都部分地未能识别；仅领域内准确率在表2（https://arxiv.org/html/2608.20371#S4.T2）中单独报告。先前认为ATIS“偏爱LLM”的前提实际上是错误的；早期出现的巨大LLM优势是基线训练集过小（N=56）的假象。

表1：意图检测准确率（%，自助法95%置信区间）和宏观F1值，在完整ATIS（893条测试）和CLINC150（5,500条测试，包含1,000条范围外项）上的表现。宏观F1值在ATIS上远低于准确率，因为测试集71%是航班相关；零样本LLM在复合类别的长尾部分表现最差。
### 4.2范围外检测：LLM的“拒绝”能力远超微调模型
在CLINC150的显式范围外任务中（表2，https://arxiv.org/html/2608.20371#S4.T2），Claude达到了85.6的OOS召回率和85.0的F1值，而RoBERTa为58.1/73.0，TF-IDF为36.4/51.7，同时保持了相当的领域内准确率。知道一个语句何时超出方案范围，是安全部署的核心要求，这也是LLM的世界知识帮助最大的地方。

表2：CLINC150上的范围外检测（oos作为正类）。
### 4.3动态方案：微调模型无法迁移
表3（https://arxiv.org/html/2608.20371#S4.T3）是部署论证的核心。锁定的RoBERTa在其自身方案上表现卓越（应用A，96.8），但在应用B上得分*精确*为0%：其分类头无法输出从未训练过的标签，因此任何准确性提升都无法发挥作用。方案驱动的LLM仅接收相关应用的标签，即可在*两个*应用上都达到约94%的准确率，无需重新训练。这里的差距是类别性的而非渐进性的，区分了“可行”与“根本不可行”。

表3：动态方案迁移：在CLINC150上划分为不相交的应用方案A/B（各75个意图）时的准确率（%）。自助法95%置信区间跨度为±1个百分点（例如应用A：RoBERTa [96.0, 97.5]，Claude [93.3, 95.2]）。
### 4.4语音识别鲁棒性：LLM的性能下降更平缓
在各个词错率分层中（表4，https://arxiv.org/html/2608.20371#S4.T4），两个系统在清洁语音上都表现强劲，但随着信噪比下降，基于词汇的分类器性能下降更快：在0 dB（平均词错率28.9%）时，TF-IDF降至80.0，而Claude保持92.5。LLM对真实语音识别输出中普遍存在的拼写错误和音素损坏的容忍度，是一个可衡量的优势，而非假设性的。

表4：在TTS→噪声→Whisper语料库（每种条件120条语句）上的意图准确率（%）与声学信噪比的关系。
### 4.5延迟与成本
表5（https://arxiv.org/html/2608.20371#S4.T5）衡量了1,000次调用（而非几次）的延迟。设备端分类器的响应时间在微秒到毫秒之间，边际成本为零；LLM的中位数延迟为981毫秒，P95延迟为1,787毫秒，超过了500毫秒的对话标准线。0.25美元/千次调用是根据观察到的提示/完成令牌数计算出的Claude Haiku标价；设备端模型的边际成本为零。对于一个稳定的、高QPS、延迟敏感的路径，微调模型是显而易见的选择；LLM的成本只有在需要其适应性或范围外处理能力时才是合理的。

表5：每次请求延迟（1,000次调用）与边际成本。

## 5决策框架

我们的结果驳斥了单一的排名，支持有条件的排名。正确的工具是意图空间的函数，而非基准排行榜的函数：

- • **稳定方案、标签丰富、延迟/成本敏感**（例如成熟的单领域助手）：*使用微调的编码器模型*。它达到或超越LLM的表现（ATIS: +11.8个百分点），且延迟低约10³倍，边际成本为零。
- • **广谱方案、标签适中**：*两者均可行*；LLM在准确率相当的情况下消除了训练流程（CLINC150: 平局），因此选择简化为延迟/成本预算问题。
- • **动态/按部署划分的方案，标注数据很少或没有**（我们的生产环境场景）：*使用方案提示的LLM*。微调模型不仅效果更差