基于有限反馈的LLM专家在线学习

arXiv cs.LG 论文

摘要

本文提出算法,用于在有限反馈的在线环境中,自适应地将提示路由至LLM专家。该问题被形式化为多臂赌博机问题,旨在最小化遗憾并最大化响应质量。

arXiv:2609.05820v1 公告类型:新 摘要: 我们研究在有限反馈的在线环境中,自适应路由提示至大型语言模型(LLM)专家以最大化响应质量。我们将其形式化为一个具有$K$个动作(代表专家)和$d$个特征(编码提示)的多臂赌博机问题,跨越$T$轮次。我们提出算法,通过策略性地选择和观察奖励来最小化遗憾。在全信息设置中,我们实现了$\tilde{O}(d T / \sqrt{m})$的遗憾,而在多臂赌博机设置中,我们实现了$\tilde{O}(d T \sqrt{K / m})$的遗憾,其中$m \ll T$是反馈预算。我们的实验表明,我们能够从有限反馈中高效地学习多样LLM的高质量路由策略。
查看原文
查看缓存全文

缓存时间: 2026/09/10 08:25

# 基于有限反馈源的LLM专家在线学习  
来源:https://arxiv.org/html/2609.05820  
**作者**:  
Soumyabrata Pal(附属机构:Adobe Research;邮箱:[hdardiry@vt\.edu](mailto:))  
Koyel Mukherjee(附属机构:Adobe Research)  
Franck Dernoncourt(附属机构:Adobe Research)  
Ryan A\. Rossi(附属机构:Adobe Research)  
Branislav Kveton(附属机构:Adobe Research)  
Hoda Eldardiry††thanks:通讯作者\。(附属机构:Virginia Tech)  

###### 摘要  
我们研究在有限反馈的在线场景中,将提示信息自适应路由至大型语言模型(LLM)专家以最大化响应质量的方法。我们将此问题表述为一个包含\(K\)个动作(代表专家)和\(d\)个特征(编码提示信息)的老虎机问题,时间范围为\(T\)轮。我们提出能战略性选择观测奖励以最小化遗憾的算法。在全信息设定下,我们实现了\(\tilde{O}(dT/\sqrt{m})\)的遗憾界;在老虎机设定下,我们实现了\(\tilde{O}(dT\sqrt{K/m})\)的遗憾界,其中\(m \ll T\)是反馈预算。实验表明,我们能从有限反馈中高效学习到适用于多种LLM的高质量路由策略。  

## 1 引言  
*大型语言模型(LLM)*如今已无处不在。OpenAI的GPT模型(OpenAI等人,2023 ([https://arxiv.org/html/2609.05820#bib.bib13](https://arxiv.org/html/2609.05820#bib.bib13)))、LLaMA3(Dubey等人,2024 ([https://arxiv.org/html/2609.05820#bib.bib12](https://arxiv.org/html/2609.05820#bib.bib12)))和Mistral AI(Mistral AI,2025 ([https://arxiv.org/html/2609.05820#bib.bib14](https://arxiv.org/html/2609.05820#bib.bib14)))已成功应用于文档处理、代码生成等多种任务。不同LLM的成本和能力各异(Artificial Analysis,2025 ([https://arxiv.org/html/2609.05820#bib.bib16](https://arxiv.org/html/2609.05820#bib.bib16)))。即使在同一模型系列内,成本差异也可能非常显著(OpenAI,2025 ([https://arxiv.org/html/2609.05820#bib.bib15](https://arxiv.org/html/2609.05820#bib.bib15)))。LLM的多样化能力在公共数据集中显而易见。例如,Nectar数据集(Zhu等人,2024 ([https://arxiv.org/html/2609.05820#bib.bib56](https://arxiv.org/html/2609.05820#bib.bib56)))包含GPT-4评判的多个流行模型对183k提示的响应。当GPT-3\.5\-Turbo、GPT-3\.5\-Turbo\-Instruct、GPT-4、GPT-4\-0613、LLaMA\-2\-7B\-Chat和Mistral\-7B\-Instruct被评判时,这些模型的胜率分别为0\.182、0\.091、0\.203、0\.319、0\.073和0\.132。因此,没有模型能在超过三分之一的情况下占据绝对优势,进行自适应路由是有益的。  

我们将*LLM专家*在线学习问题表述如下:我们有\(K\)个不同的LLM,并在\(T\)轮内与它们顺序交互。每轮中,一个提示到达,我们根据提示将其路由给某个专家。专家响应后,其响应与某种奖励相关联,但奖励未被观测到。这是因为LLM的响应通常不会由其用户进行评估。我们的目标是学习将每个提示路由给具有最高平均奖励的专家。若无反馈,这是不可能实现的。因此,我们做出一个现实假设:我们可以获得有限的、质量堪比人类反馈的反馈。这可以是人工反馈,也可以是一个更强大的LLM充当*LLM裁判*(Li等人,2024b ([https://arxiv.org/html/2609.05820#bib.bib21](https://arxiv.org/html/2609.05820#bib.bib21));Li等人,2024a ([https://arxiv.org/html/2609.05820#bib.bib20](https://arxiv.org/html/2609.05820#bib.bib20));LLM\-as\-a\-Judge,2025 ([https://arxiv.org/html/2609.05820#bib.bib19](https://arxiv.org/html/2609.05820#bib.bib19)))提供的反馈。这种反馈成本高昂,无论是人力成本还是计算成本,因此我们只能使用\(m \ll T\)次,其中\(m\)由可用预算决定。奖励与反馈之间的权衡事先并不明确。因此,我们在反馈约束下最大化奖励,而不是两者的线性组合。最后,此问题本质上是在线的,因为用户提示仅在交互时才揭示,离线解决方案不可行。路由决策必须实时顺序做出,且无法预先了解提示分布。  

我们将问题建模为一个包含\(K\)个专家的*上下文老虎机*(Langford和Zhang,2008 ([https://arxiv.org/html/2609.05820#bib.bib37](https://arxiv.org/html/2609.05820#bib.bib37));Li等人,2010 ([https://arxiv.org/html/2609.05820#bib.bib40](https://arxiv.org/html/2609.05820#bib.bib40));Lattimore和Szepesvari,2019 ([https://arxiv.org/html/2609.05820#bib.bib52](https://arxiv.org/html/2609.05820#bib.bib52))),其中每个LLM是一个专家,上下文是提示的嵌入表示。与以往所有上下文老虎机工作的主要区别在于,只能观测到\(T\)轮中的\(m\)个奖励。智能体可以决定*观测什么*以及*何时观测*,只要它在之前本可以观测到。算法设计的主要挑战是在遗憾最小化设定下以接近最优的速率进行。对观测内容和时机的控制使我们的工作区别于其他涉及部分观测的老虎机设定,我们在附录C ([https://arxiv.org/html/2609.05820#A3](https://arxiv.org/html/2609.05820#A3)) 中对此进行了详细讨论。在LLM响应质量上进行有限反馈的在线设定,使我们的工作区别于以往的LLM优化方法,这些方法通常在离线设定下研究或不直接优化响应质量。我们也在附录C ([https://arxiv.org/html/2609.05820#A3](https://arxiv.org/html/2609.05820#A3)) 中讨论了它们。  

我们的主要贡献如下:  
1. 1\. 我们研究了全信息设定(第3节 ([https://arxiv.org/html/2609.05820#S3](https://arxiv.org/html/2609.05820#S3))),其中智能体可以观测到过去任何一轮中所有专家的奖励。我们算法的关键思想是逐步观测具有最高信息增益的专家奖励。该算法计算高效,其遗憾界为\(\tilde{O}(dT/\sqrt{m})\),与我们的下界在\(d\sqrt{d}\)因子内匹配。注意,当\(m = \Omega(T)\)时,此界为\(\tilde{O}(\sqrt{T})\)。  
2. 2\. 我们还研究了老虎机设定(第4节 ([https://arxiv.org/html/2609.05820#S4](https://arxiv.org/html/2609.05820#S4))),其中智能体在某一轮只能观测到该轮生成响应的专家的奖励。我们算法的关键思想是分别为每个LLM专家逐步观测具有最高信息增益的奖励。该算法计算高效,其遗憾界为\(\tilde{O}(dT\sqrt{K/m})\)。与全信息设定相比,额外的\(\sqrt{K}\)因子是由于反馈次数减少了\(K\)倍。  
3. 3\. 我们将老虎机设定扩展到专家成本变化的情况,即评估专家响应的价格不均匀。由于篇幅限制,此结果已移至附录A ([https://arxiv.org/html/2609.05820#A1](https://arxiv.org/html/2609.05820#A1))。  
4. 4\. 我们在Nectar数据集(Zhu等人,2024 ([https://arxiv.org/html/2609.05820#bib.bib56](https://arxiv.org/html/2609.05820#bib.bib56)))上对所有算法进行了实验评估,结果表明它们能为GPT\-3\.5、GPT\-4、LLaMA和Mistral等许多流行的LLM专家学习到高质量的路由智能体(第5节 ([https://arxiv.org/html/2609.05820#S5](https://arxiv.org/html/2609.05820#S5)))。  

**技术新颖性**:我们分析中的一个关键挑战是为没有反馈的提示界定最优专家与选定专家之间的奖励差距。与标准线性老虎机不同,有限反馈阻碍了协方差矩阵的即时更新,使得使用标准技术界定遗憾变得困难。为解决全信息设定中的此问题,我们引入了一种新颖的反馈策略:以固定间隔选择使协方差矩阵行列式最大化的过去提示。该方法能快速降低重要方向的不确定性,并允许我们界定遗憾。我们进一步表明,周期性反馈选择的表现与事后最优选择相差无几。在老虎机设定中,我们扩展了此方法,为每个专家维护独立的置信集,以确保精确的遗憾保证。  

**结构概述**:在第2节 ([https://arxiv.org/html/2609.05820#S2](https://arxiv.org/html/2609.05820#S2)) 中,我们陈述问题并定义模型。在第3节 ([https://arxiv.org/html/2609.05820#S3](https://arxiv.org/html/2609.05820#S3)) 和第4节 ([https://arxiv.org/html/2609.05820#S4](https://arxiv.org/html/2609.05820#S4)) 中,我们分别描述全信息和老虎机设定的算法,并提供理论保证。在附录A ([https://arxiv.org/html/2609.05820#A1](https://arxiv.org/html/2609.05820#A1)) 中,我们将老虎机算法扩展到评估专家成本变化的设定。在第5节 ([https://arxiv.org/html/2609.05820#S5](https://arxiv.org/html/2609.05820#S5)) 中,我们提供使用我们算法的实证结果。最后,在附录B ([https://arxiv.org/html/2609.05820#A2](https://arxiv.org/html/2609.05820#A2)) 中,我们为所有结果提供详细证明。  

## 2 问题设定  
**记法**:我们用\([K]\)表示集合\(\{1, 2, \dots, K\}\)。标量和向量用小写字母(例如\(x\))表示。矩阵和固定的全局参数用大写字母(例如\(X\))表示。对于向量\(x\),\(x_i\)表示其第\(i\)个分量。对于索引向量\(x_j\),\(x_{j,i}\)表示其第\(i\)个分量。我们用\(\left\|x\right\|_A\)表示关于半正定矩阵\(A\)的加权2-范数\(\sqrt{x^\top A x}\)。我们将相应的内积定义为\(\langle x, y \rangle_A = x^\top A y\)。\(\mathbf{0}_d\)和\(\mathbf{I}_d\)分别是\(d\)维中的零向量和单位矩阵。\(\mathcal{N}(\mathbf{0}_d, \Sigma)\)是\(d\)维中零均值、协方差矩阵为\(\Sigma\)的高斯分布。对于矩阵\(A\),我们用\(A_i\)表示其第\(i\)列。令\(\mathcal{B}^d \equiv \{ x \in \mathbb{R}^d \mid \left\|x\right\|_2 \leq 1 \}\)为\(d\)维单位球。  

**问题表述**:我们将设定引入为经典线性老虎机(Abbasi\-Yadkori等人,2011 ([https://arxiv.org/html/2609.05820#bib.bib41](https://arxiv.org/html/2609.05820#bib.bib41)))的变体。我们有\(T\)轮和\(K\)个LLM*专家*。每个专家索引为\(a \in [K]\),并关联一个未知的*参数向量*\(\theta_a \in \mathcal{B}^d\)。在每一轮\(t \in [T]\),一个*提示*到达,我们将其记为\(x_t \in L \cdot \mathcal{B}^d\),其中\(L > 0\)。该提示随后被视为第\(t\)轮的*上下文*。给定提示\(x_t \in \mathbb{R}^d\),算法选择一个专家\(a_t \in [K]\)并获得其响应。在线性模型中,第\(t\)轮专家\(a\)响应的*期望奖励*为\(\langle \theta_a, x_t \rangle\)。我们将第\(t\)轮所有随机*奖励*的向量记为\(r_t = (r_{t,a})_{a=1}^K\),并将每个奖励定义为  
\[ r_{t,a} = \langle \theta_a, x_t \rangle + \eta_{a,t} \]  
我们假设噪声\(\{\eta_{a,t}\}_{a \in [K], t \in [T]}\)在专家和轮次之间是独立的,并且是方差代理为1的亚高斯分布。线性模型是现实的,因为奖励是在冻结的Transformer嵌入之上通过线性头计算的。具体来说,\(x_t\)是Transformer生成的提示嵌入,\(\theta_a\)是专家\(a\)的线性头。这在奖励建模中是标准的,唯一的区别是我们不微调嵌入。此外,在每一轮\(t\),上下文\(x_t\)到达,算法选择专家\(a_t\),随后可选择性地请求反馈。此顺序反映了一个关键约束:反馈成本高昂,是否查询的决策是在动作之后做出的,作为探索策略的一部分。有人可能会问,提示评估是否可以在选择\(a_t\)之前执行,通过回顾与\(x_t\)相似的过去上下文并利用其结果做出更明智的决策。然而,这样做将需要在每一轮进行额外的反馈查询,违反预算约束\(m \ll T\)。我们的表述相反地精打细算利用过去的反馈:路由决策基于截至第\(t\)轮所学到的信息做出,不会因当前上下文触发对过去提示的回溯评估。在我们的实验中,我们考虑将这种备选方案作为*NoLookBack*基线。  

**有限反馈**:在我们的设定中,反馈成本高昂(Li等人,2024b ([https://arxiv.org/html/2609.05820#bib.bib21](https://arxiv.org/html/2609.05820#bib.bib21))),由于时间或金钱约束,因此是有限的。在经典线性老虎机中,每轮\(t\)通常会部分或完全观测到带噪声的奖励。我们设定的关键区别在于,任何一轮\(t\)生成的奖励向量不会立即被观测到。然而,作为奖励观测的反馈,对于在连续轮次中改进专家选择至关重要(Lattimore和Szepesvari,2019 ([https://arxiv.org/html/2609.05820#bib.bib52](https://arxiv.org/html/2609.05820#bib.bib52)))。算法有一个\(m\)次反馈的预算,其中\(m \ll T\)。因此,算法必须智能地选择在哪些轮次观测哪些奖励。  

**上下文老虎机**:我们将问题形式化为上下文老虎机设定。在每一轮\(t\),智能体观察上下文\(x_t\)并选择一个动作\(a_t \in [K]\)。它随后收到奖励\(r_{t,a_t}\),但此奖励可能不被观测到。我们定义累积遗憾为  
\[ \mathsf{Reg}(T) = \sum_{t=1}^T \max_{a \in [K]} \langle \theta_a, x_t \rangle - \sum_{t=1}^T \langle \theta_{a_t}, x_t \rangle \]  
目标是设计一种策略,最小化此遗憾,同时遵守反馈预算约束。  

**假设**:我们做出以下标准假设:  
1. **有界动作**:存在\(L > 0\)使得对于所有\(t\),\(\left\|x_t\right\|_2 \leq L\)。  
2. **亚高斯噪声**:噪声\(\eta_{a,t}\)是独立的、零均值的、1-亚高斯的。  
3. **线性奖励**:奖励如公式(1)所示。  

## 3 全信息设定  
在本节中,我们考虑全信息设定,其中智能体可以选择观测过去任何一轮的奖励。我们提出算法\(\mathtt{LimFullFeed}\),并分析其遗憾。  

### 3.1 算法  
我们的算法\(\mathtt{LimFullFeed}\)在算法1中概述。它维护每个专家\(a\)的协方差矩阵\(V_{t,a}\)和估计参数\(\widehat{\theta}_{t,a}\)。在每一轮\(t\),它选择专家\(a_t = \arg\max_{a \in [K]} \langle \widehat{\theta}_{t,a}, x_t \rangle + \alpha \left\|x_t\right\|_{V_{t,a}^{-1}}\),其中\(\alpha\)是探索参数。然后,它决定是否请求反馈。关键思想是,它会回溯并选择使所有专家的协方差矩阵行列式增长最大的过去提示,并为这些提示请求反馈。这确保了协方差矩阵在重要方向上快速生长。  

### 3.2 理论分析  
**定理 3.1**。假设3.1成立。那么算法\(\mathtt{LimFullFeed}\)的遗憾界为  
\[ \mathsf{Reg}(T) = \tilde{O}(d T m^{-1/2}) \]  

证明草图:考虑一个固定的专家\(a \in [K]\),其未知参数为\(\theta_a\),以及第\(t\)轮的提示\(x_t\)。使用\(\theta_a\)的OLS估计\(\widehat{\theta}_{t,a}\),估计平均奖励的误差\(\langle \theta_a - \widehat{\theta}_{t,a}, x_t \rangle\)的缩放与\(\left\|x_t\right\|_{V_{t,a}^{-1}}\)成正比。此误差可以重写为\(\log \det(V_{t,a} + x_t x_t^\top) - \log \det V_{t,a}\)。在标准线性老虎机中,我们更新协方差矩阵\(V_{t+1,a} = V_{t,a} + x_t x_t^\top\)。因此,我们可以将所有轮次的误差相加得到一个望远镜和。然而,在我们有限反馈的设定中,\(V_{t,a}\)并非每轮都更新,因此上述不成立。我们证明的关键思想源于\(\mathtt{LimFullFeed}\)的第7行,我们回溯并用使其行列式增长最大的提示更新\(V_{t,a}\)。因此,我们仍然可以将\(\log \det(V_{t,a} + x_t x_t^\top) - \log \det V_{t,a}\)从上方界定为\(\log \det V_{t+1,a} - \log \det V_{t,a}\)。此上界对于两次连续反馈及相关协方差矩阵更新之间的所有轮次都是相同的。最后,我们以长度为\(T/m\)轮的间隔定期请求反馈。因此,在相加误差后,我们仍然得到一个望远镜和,但有限反馈导致望远镜和中出现额外的乘法因子\(T/m\)。这导致遗憾界中出现额外的乘法因子\(\sqrt{T/m}\)。  

**定理 3.2**。假设3.1成立。那么任何算法的遗憾下界为\(\Omega(d \sqrt{T / m})\)。  

注意,遗憾不依赖于专家数量\(K\),因为在全信息设定中,我们联合获得所有专家的响应。因此,当\(m = T\)时,我们可以获得所有轮次的反馈,实现的遗憾保证为\(O(d \sqrt{T} \log T)\)。这让人想起线性老虎机实现的标准遗憾保证(Lattimore和Szepesvári,2020 ([https://arxiv.org/html/2609.05820#bib.bib31](https://arxiv.org/html/2609.05820#bib.bib31)))。有限反馈的额外成本以\(\sqrt{T/m}\)的乘法因子形式出现,导致反馈越少成本越高。  

我们也证明了以下下界(详细证明在第B.4节 ([https://arxiv.org/html/2609.05820#A2.SS4](https://arxiv.org/html/2609.05820#A2.SS4))):  

**定理 3.3**。考虑具有有限全信息反馈的在线专家选择问题。

相似文章

基于有限反馈的LLM专家在线学习

Hugging Face Daily Papers

本文将提示到大语言模型专家的自适应路由建模为具有有限反馈的上下文赌博机问题,提出实现次线性遗憾的算法,并展示高效学习高质量路由策略的能力。

基于时变需求的约束赌博机在线LLM选择

arXiv cs.LG

本文提出了一种约束随机赌博机算法,用于在时变任务需求以及异构的准确性、延迟和成本配置下在线选择大型语言模型,并在遗憾和约束违反方面提供了理论保证。