SOMA：通过小语言模型实现高效的 LLM 多轮对话服务

# SOMA：通过小语言模型实现高效的多轮大语言模型服务

来源: https://arxiv.org/html/2605.11317
Xueqi Cheng<sup>1</sup>, Qiong Wu<sup>2</sup>, Zhengyi Zhou<sup>2</sup>, Xugui Zhou<sup>3</sup>, Tyler Derr<sup>4</sup>, Yushun Dong<sup>1</sup>
<sup>1</sup>佛罗里达州立大学, <sup>2</sup>AT&T 首席数据办公室, <sup>3</sup>路易斯安那州立大学, <sup>4</sup>范德比尔特大学
\{xc25,yushun\.dong\}@fsu\.edu; \{qw6547,zz547k\}@att\.com
xuguizhou@lsu\.edu; tyler\.derr@vanderbilt\.edu

###### 摘要

大型语言模型（LLMs）越来越多地部署在多轮对话场景中，在这些场景中，跨轮次保留对话上下文至关重要。一种标准的服务做法是在每一轮都拼接完整的对话历史，这虽然能可靠地保持连贯性，但在延迟、内存和 API 开销方面会带来巨大成本，特别是当查询被路由到大型专有模型时。现有方法往往难以在响应质量和效率之间取得平衡。我们提出了一种框架，利用会话的早期轮次来估计局部响应流形（local response manifold），然后针对对话的剩余部分将一个较小的代理模型（surrogate model）适配到该局部区域。具体而言，我们学习软提示（soft prompts），以最大化大语言模型和代理小语言模型响应之间的语义差异，从而凸显最不协调的局部方向；通过抗退化控制稳定训练；并将挖掘出的案例蒸馏为局部 LoRA 微调，使得代理模型在推理时无需提示即可运行。一个简单的门控机制支持一次性切换以及在发生漂移时回滚。我们还为 SOMA 的关键组件提供了理论分析。广泛的实验展示了 SOMA 的有效性。源代码提供于：https://github.com/LabRAI/SOMA。

## 1 引言

像 GPT 系列 [39, 9, 1]、LLaMA [46]、Claude [4] 和 DeepSeek [17] 这样的大型语言模型（LLMs）已在现实世界的机器学习即服务（MLaaS）应用中表现出强大的性能，应用范围从聊天助手到代码生成 [38, 14, 29, 27, 54]。随着 LLMs 越来越多地部署在交互场景中，**多轮 LLM 服务**——涉及人类与 LLM 或多个 LLM 代理之间的扩展交互——已成为一个关键的研究焦点，因为它更好地反映了真实世界的使用场景 [53, 28, 57]。现有研究表明，多轮交互非常普遍，这凸显了对能够以感知上下文的方式处理扩展对话的服务系统的需求 [10, 16]。然而，支持高效的上下文相关多轮交互仍然是一个关键挑战，因为大多数 LLM 服务系统是无状态的，并且在每次生成新响应时，都需要随每个新查询重新发送整个对话历史，包括所有之前的查询和响应 [3, 33]。这导致随着对话变长，出现冗余计算、高延迟和服务成本上升。

先前的工作主要通过两种途径探索高效的多轮 LLM 服务。一条研究路线侧重于**单模型方法**，这些方法压缩对话历史 [48, 11, 50]、从外部模块检索记忆 [32, 18] 或复用注意力计算 [16, 24, 5]。然而，这些方法仍然严重依赖大型 LLM 来处理每一轮，导致高昂的货币成本、延迟和 GPU 使用率。它们也常常截断或忽略扩展上下文，限制了对长对话的推理能力。另一条路线采用**多模型方法**，将简单查询路由到较小模型，而将困难查询升级到大 LLM [7, 41, 13, 43]。然而，小模型难以在对话复杂性上泛化，且模型切换引入了额外的开销。此外，LLMs 已知依赖早期轮次 [50, 25]，这增加了在多轮设置中保持连贯性的难度。

是否有可能实现一个高效、感知上下文的多轮 LLM 服务框架，既能避免在每一轮重新计算完整历史，又能保持响应质量？

为了实现这一目标，我们对不同领域的现实世界多轮对话进行了深入探索，并揭示了跨轮次令牌（token）数量中有趣的长尾分布：早期轮次明显更长，而后期轮次逐渐变短。这一现象与先前工作的直觉一致，即早期轮次通常承载实质性的开场白、设定问题和锚点，包括问题、请求和提议，而后期轮次通常是极简的确认 [19, 44]。这种长尾趋势产生了一个直观的想法：由于后期轮次相对较短，较小的语言模型可能就足以更经济高效地生成响应。然而，瓶颈在于“大头”：如果小模型仍需处理早期信息密集的上下文，响应质量将会下降。具体而言，虽然小语言模型在开始时可能表现合理，但随着对话的进行，其响应会与大模型产生偏差，因为大多数基础建立在前几轮，而后期轮次高度依赖于该上下文。因此，在不建模累积上下文的情况下简单地将后期轮次交给小模型会降低质量。

为此，小语言模型不仅必须处理较短的输入，还必须在输出或隐藏空间的局部流形内近似大模型的行为，以捕获由先前对话塑造的上下文依赖性。这定义了一个**局部流形近似问题**，其中小语言模型旨在复制由当前对话上下文诱导的目标模型行为。

基于这些见解，我们提出了一种用于高效多轮 LLM 服务的新颖框架，使小语言模型能够在推理流形的受限区域内局部近似大语言模型的行为。具体而言，我们提出了 **SOMA**（**S**oft-prompts for **l**ocal **O**cal **M**anifold **A**pproximation，用于局部流形近似的软提示），根据早期轮次交互动态地将小语言模型适配到大模型的局部行为。这是通过一个三阶段管道实现的：(1) **软提示调优**，我们高效地探索由早期对话上下文诱导的局部推理流形，以识别小语言模型和大语言模型之间行为分歧最大的方向；(2) **局部微调**，我们在少量输入-输出对上高效地微调小语言模型，使其在这个流形的特定上下文中与大模型对齐；以及 (3) **高效推理**，我们整合提取式摘要以最小化计算开销，并引入回滚机制以监控潜在的主题偏移，从而保持服务质量。这些组件共同使小模型能够在给定会话的上下文中有效近似大模型的推理过程，实现既成本效益高又感知上下文的多轮服务。广泛的实验展示了我们提出的方法的有效性。

总体而言，我们的贡献如下：

-   **多轮对话中的长尾模式**：我们首先揭示了一个以前未被充分探索的多轮对话长尾模式：前几轮集中了大量上下文，而后期轮次较短，但更依赖之前的轮次。这一关键的实证特征表明，如果给定累积上下文，可以使用更小、更便宜的语言模型替换大模型来处理后期轮次，从而实现可观的计算和货币节省。
-   **SOMA：高效多轮服务**：它首先学习揭示最大代理-原始响应差异的软提示，然后相应地适配局部 LoRA 代理，支持无提示推理，并通过简单的余弦门控进行切换和回滚。
-   **理论分析与实证评估**：我们提供了基于集中性的切换界限、提示方向搜索的覆盖保证以及所选方向的次优性限制。在这些结果的指导下，实证研究展示了 SOMA 在现实世界中的有效性。

## 2 预备知识

### 2.1 符号说明

在本文中，长度为 $k$ 的多轮对话前缀为 $\mathcal{D}_k = \{(q_1, a_1), \dots, (q_k, a_k)\}$，其中 $q_t$ 是第 $t$ 轮的用户查询，$a_t$ 是对应的模型响应。$F$ 表示原始的专有黑盒 LLM，这是机器学习即服务（MLaaS）中的常见设置，$G$ 是代理小语言模型。第 $t$ 轮的文本响应为 $a_t^M$，对于 $M \in \{F, G\}$。设 $f_M(\cdot)$ 为映射到隐藏空间的特征映射，$\mathbf{h}_t = f_M(q_{\leq t}) \in \mathbb{R}^d$ 为第 $t$ 轮的隐藏状态。前 $k$ 个隐藏状态形成 $\mathcal{H}_k = \{\mathbf{h}_1, \dots, \mathbf{h}_k\}$ 并诱导出一个局部流形 $\mathcal{M}_k^M \subset \mathbb{R}^d$。长度为 $L$ 的软提示为 $\mathbf{P} \in \mathbb{R}^{L \times d}$。更多细节见附录 A。

### 2.2 多轮 LLM 对话中的令牌-轮次模式探索

**图 1：每轮相对平均令牌计数，以第 1 轮为基准归一化。** 在四个对话数据集中，令牌使用量在早期轮次后下降，然后形成长尾。

高效的多轮服务取决于对话状态如何随时间演变。在标准的 LLM 服务中，每个新请求都与完整的前置历史一起处理，因此计算成本随着对话长度的增加而增长。然而，每轮引入的新信息量可能遵循不同的模式。因此，我们首先研究令牌使用量如何随对话轮次变化。我们考虑了四个代表性的多轮设置：用于开放式人类-LLM 聊天的 ShareGPT [10]、用于医患咨询的 ReMeDi [52]、用于谈判的 Craigslist Bargain [19] 以及用于多方角色扮演的 Multi-Character [2]。这些数据集聚合了不同的说话者角色、任务目标和交互结构。

对于每个数据集，我们计算第 $t$ 轮的平均令牌计数，并将其归一化为第 1 轮的平均令牌计数。图 1 显示了一致的长尾模式。早期轮次令牌密集，因为它们通常引入任务、主题、约束和说话者意图。后期轮次要短得多，并在较低水平上稳定下来。这并不使后期轮次变得独立；相反，这表明许多后期轮次被解释为在已建立的对话状态下的局部更新。因此，边际新输入变小，而标准服务仍然重复处理完整前缀。这种不匹配促使了一种自适应服务策略：使用原始大模型建立早期对话状态，然后在后续轮次保持在该局部状态时使用更便宜的代理模型。

### 2.3 多轮对话的局部流形近似

长尾模式表明了代理服务的机会，但直接用较小的模型替换原始模型是不可靠的。后期轮次往往很短，因为其大部分含义由之前的对话提供。如果代理模型在此前缀下不与原始模型对齐，它可能会产生流畅的响应，但仍会偏离预期的上下文。我们通过局部流形观点来描述这一挑战。

设 $F$ 表示原始大模型，$G$ 表示小代理。给定对话前缀 $\mathcal{D}_k = \{(q_1, a_1), \dots, (q_k, a_k)\}$，该前缀在模型的上下文表示空间中诱导出一个局部区域。该区域捕获了对话的当前主题、约束、风格和任务状态。它适配 $G$ 以匹配 $F$ 在当前对话前缀周围的局部行为。

###### 问题 2.1（多轮交互的局部流形近似）

给定对话前缀 $\mathcal{D}_k$ 和原始模型 $F$，学习一个代理模型 $G \in \mathcal{G}$，使其在相同前缀下的局部表示区域与 $F$ 匹配：

$$ \min_{G \in \mathcal{G}} \mathrm{dist}\left(\mathcal{M}_k^G(\mathcal{D}_k), \mathcal{M}_k^F(\mathcal{D}_k)\right), $$

其中 $\mathcal{M}_k^F(\mathcal{D}_k)$ 和 $\mathcal{M}_k^G(\mathcal{D}_k)$ 表示由前缀诱导的局部表示区域，$\mathrm{dist}(\cdot, \cdot)$ 衡量它们的差异。

这一公式导致了 SOMA 的设计。早期轮次用于暴露代理模型在当前对话状态下与原始模型分歧的地方。这些局部信息丰富的示例随后用于适配代理模型。适配后，代理模型仅在对话保持在已学习的局部区域附近时服务后期轮次；当对话发生漂移时，系统返回到原始模型并刷新局部状态。

## 3 SOMA：通过软提示进行局部流形近似

SOMA 结合了三组件以实现高效局部服务。首先，原始模型 $F$ 处理早期轮次以建立对话状态。其次，软提示挖掘识别出代