自改进的上下文学习

# 自我改进的上下文学习 来源：https://arxiv.org/html/2605.23180  Baturay Saglam Dionysis Kalogerias 电气与计算机工程系 耶鲁大学  \{baturay\.saglam (https://arxiv.org/html/2605.23180v1/mailto:[email protected]),dionysis\.kalogerias (https://arxiv.org/html/2605.23180v1/mailto:[email protected])\}@yale\.edu

###### 摘要

我们提出通过在测试时优化固定少样本提示的连续嵌入来改进上下文学习（ICL）。关键观察是，模型为其演示输出分配的对数概率——可通过单次前向传播获得，无需生成任何token——为模型从演示中推断任务的好坏提供了有意义的信号。我们将该信号形式化为一个有界的、自监督的置信度代理，并通过零阶优化在提示嵌入上最大化它，从而产生一种测试时校准程序。该方法无需微调、无需token生成、无需预定义标签集、也无外部数据，因此同样适用于分类和自由形式生成任务。在一套全面的ICL任务上，所提出的校准方法始终匹配或优于基础模型，并在大多数任务上优于分类特定基线。代理改进与下游准确率增益之间的统计显著相关性证实，所提出的代理为上下文学习编码了可靠的优化信号。

## 1 引言

上下文学习（ICL）使大型语言模型（LLMs）能够通过依靠提示中少量输入-输出演示来执行新任务，而无需更新模型参数[2](https://arxiv.org/html/2605.23180#bib.bib39)。这一能力使得少样本提示成为部署语言模型的主导范式[30](https://arxiv.org/html/2605.23180#bib.bib50)。然而，它也非常脆弱：即使是语义相同的演示，仅重新排序就能将准确率从接近最先进水平降至接近随机水平[26](https://arxiv.org/html/2605.23180#bib.bib11)。性能同样对示例的选择和格式敏感。这种脆弱性激发了越来越多关于在推理时提高ICL可靠性的研究工作。

现有的测试时方法分为三大类：演示选择、演示排序和输出校准。每类方法都在其目标场景中显示出实际改进，但都有共同的结构性限制：它们要么操作在离散的提示级别决策上（即，包含哪些示例及其顺序），要么操作在事后的模型输出概率上。此外，大多数方法还需要一个有限的、预定义的标签集，从而将其限制在分类任务上（参见附录A(https://arxiv.org/html/2605.23180#A1)）。

我们探索了一个互补的方向。一种根本不同的策略是干预模型直接依赖的连续提示嵌入矩阵。由于模型在该矩阵上操作而非离散token，嵌入空间中的调整可以重塑输出分布，同时保持人类可读的输入不变[37](https://arxiv.org/html/2605.23180#bib.bib37),[38](https://arxiv.org/html/2605.23180#bib.bib25)。我们提出通过优化固定少样本提示的连续嵌入来改进ICL。我们的关键观察是，模型在演示输出标签上的对数概率——可通过单次强制前向传播获得，无需生成任何token——为模型从演示中推断任务的好坏提供了有意义的信号。我们将该信号形式化为一个标量的、有界的置信度代理，具有三个互补方面：每个演示标签上的绝对预测置信度、对输出跨度中低概率token的鲁棒性，以及跨演示预测质量的渐进改进。

为了最大化这个代理，我们通过零阶优化估计其相对于输入嵌入的梯度，并沿估计的梯度方向迭代更新嵌入。由此产生的程序在测试时校准提示表示，将其导向嵌入空间中与更高上下文置信度相关的区域。它不需要外部数据、无需访问模型参数、也无需额外学习参数——仅假设输入嵌入和模型的对数概率可用。每个优化步骤完全由前向传播组成；在任何时候都不生成token，并且原始离散提示从未被修改——只有其连续嵌入被修改。由于代理仅根据提示中已有的演示上的模型预测计算，因此无需预定义标签集，使得该方法同样适用于分类和自由形式生成。因此，它可以与任何现有的演示选择、排序或校准策略自由组合，并作为即插即用模块应用于任何现成的自回归语言模型。

在一套旨在探测规则学习和精确复制的综合分类和自由形式生成任务[3](https://arxiv.org/html/2605.23180#bib.bib38)上，以及在多个模型尺度上，所提出的方法始终匹配或优于基础模型，同时开箱即用在大多数任务上优于分类特定基线。此外，代理改进与下游准确率增益之间的相关性在所有模型组合中统计显著，证实了所提出的代理为上下文学习编码了可靠的优化信号。我们在https://github.com/baturaysaglam/self-improving-ICL 开源了我们的代码。

## 2 相关工作

### 2.1 上下文学习

上下文学习对演示的选择、排序和解码过程敏感。一系列互补的工作研究*为什么*ICL有效——通过演示标签的作用[30](https://arxiv.org/html/2605.23180#bib.bib50),[54](https://arxiv.org/html/2605.23180#bib.bib51)、通过标签token的信息流[46](https://arxiv.org/html/2605.23180#bib.bib52)、任务表示的形成[13](https://arxiv.org/html/2605.23180#bib.bib56),[24](https://arxiv.org/html/2605.23180#bib.bib59),[41](https://arxiv.org/html/2605.23180#bib.bib49),[36](https://arxiv.org/html/2605.23180#bib.bib47)]以及与隐式梯度下降的联系[5](https://arxiv.org/html/2605.23180#bib.bib53),[43](https://arxiv.org/html/2605.23180#bib.bib55)]——但这超出了我们的范围。

#### 演示选择。

上下文示例的选择可以显著改变ICL性能[23](https://arxiv.org/html/2605.23180#bib.bib24)。现有方法在预训练嵌入空间中检索最近邻[23](https://arxiv.org/html/2605.23180#bib.bib24),[53](https://arxiv.org/html/2605.23180#bib.bib27),[39](https://arxiv.org/html/2605.23180#bib.bib26)]，通过目标模型自身的反馈对候选进行评分[48](https://arxiv.org/html/2605.23180#bib.bib28),[32](https://arxiv.org/html/2605.23180#bib.bib16),[22](https://arxiv.org/html/2605.23180#bib.bib34),[20](https://arxiv.org/html/2605.23180#bib.bib23),[50](https://arxiv.org/html/2605.23180#bib.bib17),[34](https://arxiv.org/html/2605.23180#bib.bib22),[58](https://arxiv.org/html/2605.23180#bib.bib2)]，应用任务特定启发式方法（如推理复杂度或结构覆盖）[7](https://arxiv.org/html/2605.23180#bib.bib21),[19](https://arxiv.org/html/2605.23180#bib.bib33)]，或让模型生成自己的演示[16](https://arxiv.org/html/2605.23180#bib.bib30),[27](https://arxiv.org/html/2605.23180#bib.bib15),[45](https://arxiv.org/html/2605.23180#bib.bib31),[44](https://arxiv.org/html/2605.23180#bib.bib32)]。所有这些都假设可以访问可评分的候选池或有限的标签空间。

#### 演示排序。

仅演示的顺序就能将准确率移动几十个百分点[26](https://arxiv.org/html/2605.23180#bib.bib11)。后续工作通过实例自适应重新排序[11](https://arxiv.org/html/2605.23180#bib.bib12),[51](https://arxiv.org/html/2605.23180#bib.bib13),[1](https://arxiv.org/html/2605.23180#bib.bib35),[33](https://arxiv.org/html/2605.23180#bib.bib20)]或完全消除顺序敏感性[56](https://arxiv.org/html/2605.23180#bib.bib14)]来解决此问题；然而，所使用的评分函数通常需要有限的标签集，并且排列搜索随着演示数量呈组合增长。

#### 输出校准。

另一类方法通过调整模型的输出分布[60](https://arxiv.org/html/2605.23180#bib.bib1),[15](https://arxiv.org/html/2605.23180#bib.bib3),[29](https://arxiv.org/html/2605.23180#bib.bib4),[6](https://arxiv.org/html/2605.23180#bib.bib5),[62](https://arxiv.org/html/2605.23180#bib.bib6),[17](https://arxiv.org/html/2605.23180#bib.bib19),[21](https://arxiv.org/html/2605.23180#bib.bib10),[49](https://arxiv.org/html/2605.23180#bib.bib18)]或操作内部表示[12](https://arxiv.org/html/2605.23180#bib.bib7),[4](https://arxiv.org/html/2605.23180#bib.bib8)]来纠正系统性偏差——多数标签、近因效应和表面形式效应。所有这些都需要已知的标签集，将其限制在分类任务上；其中几种进一步需要转导式访问一批测试输入[62](https://arxiv.org/html/2605.23180#bib.bib6),[12](https://arxiv.org/html/2605.23180#bib.bib7),[61](https://arxiv.org/html/2605.23180#bib.bib9)]或隐藏状态[4](https://arxiv.org/html/2605.23180#bib.bib8)]。

我们的方法与所有这三个系列正交。它优化了*固定*提示的连续表示，不需要候选池、测试批次、标签集或除嵌入层之外的模型内部访问。其成本不随演示数量扩展，在分类和开放式生成上运行相同，并且可以与任何选择、排序或校准策略自由组合。附录A(https://arxiv.org/html/2605.23180#A1)形式化了这种比较，并解释了为什么列出的方法在结构上与开放式生成不兼容。

### 2.2 LLM中的零阶优化

有限差分估计器[31](https://arxiv.org/html/2605.23180#bib.bib41)]主要用于隐私和内存高效的微调[57](https://arxiv.org/html/2605.23180#bib.bib46),[25](https://arxiv.org/html/2605.23180#bib.bib45),[28](https://arxiv.org/html/2605.23180#bib.bib43),[8](https://arxiv.org/html/2605.23180#bib.bib44)]，并作为软提示优化中梯度估计的替代[55](https://arxiv.org/html/2605.23180#bib.bib48)]。所有这些工作都在训练时基于数据集级别的损失进行。相比之下，我们在实例级别操作：在测试时，在小前向传播预算内，在根本不同的上下文学习体制中，为单个提示估计梯度。

最近，Saglam和Kalogerias [37](https://arxiv.org/html/2605.23180#bib.bib37),[38](https://arxiv.org/html/2605.23180#bib.bib25)]已经证明优化输入嵌入可以将模型的行为引导至满足某些属性。然而，我们的设置不同：我们设计了一个自监督目标并在ICL中操作，而他们的目标是安全属性（例如，毒性），对此可以从外部提供者（例如，API）获得无噪声的预言机。此外，我们使用输入嵌入优化作为工具来展示所提出代理的有效性，而不是作为我们研究的目标。

## 3 背景

### 3.1 自回归文本生成

大型语言模型以自回归方式生成文本，一次产生一个token，每个预测都依赖于所有前面的token。设V\\mathcal\{V\}表示一个有限词汇表，包含V=\|V\|V=\|\\mathcal\{V\}\|个token。我们将长度为LL的文本序列写为x1:L=\(x1,x2,...,xL\)x\_\{1:L\}=\(x\_\{1\},x\_\{2\},\\ldots,x\_\{L\}\)，其中每个xtVx\_\{t\}\\in\\mathcal\{V\}。由参数化的自回归模型通过概率链式法则定义序列的联合概率：
P\(x1:L\)=\\slimits@t=1LP\(xtx0\\itmu\>0，ff的*高斯平滑*版本定义为

f\(X\)=EU∼N\(0,In\)\[f\(X\+U\)\]。

如果ff是Lipschitz连续的，即对于所有X,YX,Y满足\|f\(X\)−f\(Y\)\|≤L0‖X−Y‖\|f\(X\)\-f\(Y\)\|\\leq L\_\{0\}\\\|X\-Y\\\|，那么对于每个\>0\\itmu\>0，ff是可微的，并且以O\(\\mu\\sqrt\{n\}\)\\mathcal\{O\}\(\\itmu\\sqrt\{n\}\)的受控误差近似ff。我们注意到这些条件仅用于导出界；在完全黑盒设置中，无法通过查询ff来验证它们。尽管如此，无论底层常数是否已知，所得估计器都可以凭经验应用。

Nesterov和Spokoiny [31](https://arxiv.org/html/2605.23180#bib.bib41)]的一个核心结果确立了ff的梯度具有熟悉的有限差分形式：
∇f\(X\)=EU\[f\(X\+U\)−f\(X\)U\]。
(2)
这个恒等式只需要ff的Lipschitz连续性；不需要ff本身的可微性。基线项f\(X\)/f\(X\)/\\itmu不会使估计产生偏差（因为E\[U\]=0\\mathbb\{E\}\[U\]=0），但会降低其方差。在实践中，(2)中的期望被NN个独立扰动U1,...,UN∼N\(0,In\)U\_\{1\},\\ldots,U\_\{N\}\\sim\\mathcal\{N\}\(0,I\_\{n\}\)的蒙特卡洛平均取代：
\hat{g}\(X\)=1N∑i=1Nf\(X\+Ui\)−f\(X\)U_i≈∇f\(X\)。
(3)
平滑参数\\itmu控制偏差-方差权衡：较小的值产生更尖锐的∇f\\nabla f近似，但放大有限差分项的方差；较大的值产生更平滑但更偏差的估计。样本数NN控制蒙特卡洛平均的方差。

## 4 自我改进的上下文学习

#### 概述。

给定如(1)所示的少样本提示，我们将语言模型视为一个黑盒，对于任何提供的提示，返回强制token对数概率。我们的关键假设是，每个演示输出跨度对应的token位置是已知的（在3.2节中记为Y1,...,YT\\mathcal\{Y\}\_\{1\},\\ldots,\\mathcal\{Y\}\_\{T\}）。设X∈R^(L×d)X\\in\\mathbb\{R\}^\{L\\times d\}为提示token的嵌入矩阵，并设f\(X\)f\(X\)为一个标量代理，量化模型在给定提示上下文下对演示的置信度。我们寻求一种增加代理值的嵌入空间优化：

X∈argmaxX f\(X\),

并理解离散提示文本保持固定，仅修改其连续嵌入；每个嵌入保持在其token子空间内。

代理ff可能由于对token的鲁棒聚合而非光滑，并且通过模型反向传播以获得∇Xf\(X\)\{\}\_\{X\}f\(X\)在测试时过于昂贵。相反，我们通过3.3节回顾的并在(3)中定义的零阶优化来估计这个梯度。我们形成随机上升方向ĝ_k ≈ ∇Xf\(X_k\)，并