面向鲁棒的上下文学习：利用分布外代理进行目标不可访问的示例检索

# 迈向稳健的上下文学习：利用分布外代理实现目标不可访问的示例检索
来源: https://arxiv.org/html/2606.00014
Hao Xu1, Rite Bo1, Fausto Giunchiglia1,2, Yingji Li1, Rui Song1
1吉林大学计算机科学与技术学院，中国
2特伦托大学信息工程与计算机科学系，意大利
\{xuhao,yingjili,songrui\}@jlu\.edu\.cn, bort24@mails\.jlu\.edu\.cn, fausto\.giunchiglia@unitn\.it

###### 摘要

尽管研究表明大型语言模型（LLMs）在分布外（OOD）任务上表现良好，但随着分布偏移加剧，其优势往往会减弱。因此，研究者们试图从可用的源领域中检索分布相似且信息丰富的示例，以增强LLMs的推理能力。然而，在实际场景中目标领域不可访问时，评估未知分布具有挑战性，这会间接影响所选示例的质量。为解决此问题，我们提出DOPA，一种示例搜索框架，它引入一个OOD代理来近似不可访问的目标领域并引导检索过程。基于代理的评估，DOPA进一步引入基于马氏距离的全局多样性约束，以确保检索到的示例具有足够的多样性。在多个LLMs和任务上的实验结果表明，DOPA有效增强了OOD设置下的鲁棒性¹¹https://github\.com/bort64/ood\_code。

# 迈向稳健的上下文学习：利用分布外代理实现目标不可访问的示例检索
Hao Xu1, Rite Bo1, Fausto Giunchiglia1,2, Yingji Li1, Rui Song1††感谢：通讯作者。
1吉林大学计算机科学与技术学院，中国
2特伦托大学信息工程与计算机科学系，意大利
\{xuhao,yingjili,songrui\}@jlu\.edu\.cn, bort24@mails\.jlu\.edu\.cn, fausto\.giunchiglia@unitn\.it

## 1 引言

大型语言模型（LLMs）在各类自然语言处理任务中表现出色（Chang et al., 2024 (https://arxiv.org/html/2606.00014#bib.bib1); Song et al., 2025 (https://arxiv.org/html/2606.00014#bib.bib2)），其中上下文学习（ICL）已成为一种广泛使用的提示范式（Min et al., 2022 (https://arxiv.org/html/2606.00014#bib.bib3)）。通过提供少量示例，ICL可以有效引导模型推理和预测。然而，近期研究表明，在分布外（OOD）设置下，LLM性能显著下降（Yuan et al., 2023 (https://arxiv.org/html/2606.00014#bib.bib18); Wang et al., 2025 (https://arxiv.org/html/2606.00014#bib.bib28)），尤其是当示例与目标领域分布不匹配时，这促使研究者探索更稳健的示例选择策略。检索（Luo et al., 2024 (https://arxiv.org/html/2606.00014#bib.bib4)）和增强（Shu et al., 2024 (https://arxiv.org/html/2606.00014#bib.bib5)）是获取有效样本的两种常用方法。前者在特定领域内搜索最相关的示例，后者则重写现有样本以减少其与目标实例之间的差异。

示例检索依赖于检索器。一些现成的度量指标，如BM25（Agrawal et al., 2023 (https://arxiv.org/html/2606.00014#bib.bib6)）、基于句子编码器的相似度（Liu et al., 2022 (https://arxiv.org/html/2606.00014#bib.bib7)）、模型影响力（Peng et al., 2024 (https://arxiv.org/html/2606.00014#bib.bib14); S. et al., 2024 (https://arxiv.org/html/2606.00014#bib.bib9)）以及错误置信度（Xu and Zhang, 2024 (https://arxiv.org/html/2606.00014#bib.bib8)），可支持通用检索策略。同时，其他方法旨在训练一个密集检索器以获得更符合任务需求的检索结果（Cheng et al., 2023 (https://arxiv.org/html/2606.00014#bib.bib10); Li et al., 2023a (https://arxiv.org/html/2606.00014#bib.bib11)）。相比之下，增强则侧重于调整现有样本以更好地匹配目标实例的分布特征（O’Brien et al., 2024 (https://arxiv.org/html/2606.00014#bib.bib12); Madine, 2024 (https://arxiv.org/html/2606.00014#bib.bib13)）。

然而，在实际应用中，目标领域不可访问会阻碍获得与领域对齐的示例，通常导致性能下降（Song et al., 2024a (https://arxiv.org/html/2606.00014#bib.bib15)）。为应对上述挑战，我们提出一个基于OOD代理评估的示例优化框架（称为DOPA）。该框架量化了在缺乏目标领域访问时源领域样本的效用，并利用量化结果引导示例检索。其核心是，DOPA引入一个OOD代理作为未知目标分布的原则性近似（Zhang and Wischik, 2022 (https://arxiv.org/html/2606.00014#bib.bib16)），该代理由源代理和目标代理两部分组成。源代理定义为在源领域上经过指令微调的LLM，以充分适应源分布；而目标代理则对应相同LLM的原始未修改版本。同一输入样本经过两个代理预测后的困惑度比率被用作该样本的OOD分数（Nalisnick et al., 2019 (https://arxiv.org/html/2606.00014#bib.bib17)）。该OOD分数用于在缺乏目标领域信息时估计源领域样本与目标领域的熟悉程度。它进一步与对预测样本的表征相似度相结合进行候选选择。OOD分数的有效性通过一个有界代理误差分析得到理论支持。此外，为增强检索示例的多样性，我们在检索过程中引入基于马氏距离的搜索策略。凭借OOD代理，DOPA能够仅依赖源领域识别信息丰富的示例，无需来自目标领域的任何样本。大量实验表明，DOPA在不同LLMs和自然语言理解任务上始终优于基线方法。此外，我们还提供了多维分析，证明代理在选择与目标领域行为相似的样本方面的有效性。我们的贡献如下：(i) 提出一种利用OOD代理提取分布对齐样本的方法，并通过有界代理误差保证从理论上论证代理的合理性。(ii) 提出一个基于OOD代理的、不依赖目标的示例检索框架，结合代理结果与上下文多样性以提升示例选择质量。(iii) 在多个NLP任务和多种LLMs上的实验结果表明，DOPA有效增强了ICL的OOD鲁棒性。

## 2 相关工作

**示例检索。** 尽管ICL展现了令人印象深刻的性能，但越来越多的研究表明其对示例选择十分敏感（Song et al., 2024b (https://arxiv.org/html/2606.00014#bib.bib23)）。为获得更有效的示例，一个自然想法是在限定空间内搜索候选样本（Luo et al., 2024 (https://arxiv.org/html/2606.00014#bib.bib4)）。根据检索工具是否经过训练，示例搜索可分为现成检索和基于微调模型的检索。基于术语的相似度已广泛用于示例检索，其中BM25是最流行的评分指标之一（Agrawal et al., 2023 (https://arxiv.org/html/2606.00014#bib.bib6); Ye et al., 2023 (https://arxiv.org/html/2606.00014#bib.bib24)）。此外，多种句子嵌入模型，如SBERT（Wang et al., 2024 (https://arxiv.org/html/2606.00014#bib.bib25)）、RoBERTa（Liu et al., 2022 (https://arxiv.org/html/2606.00014#bib.bib7)）和SimCSE（Gao et al., 2021 (https://arxiv.org/html/2606.00014#bib.bib26)），也广泛用于计算样本间相似度以优化示例选择。此外，一些方法评估单个样本对模型预测的影响，以选择高影响力的示例（Peng et al., 2024 (https://arxiv.org/html/2606.00014#bib.bib14); S. et al., 2024 (https://arxiv.org/html/2606.00014#bib.bib9)）。现成检索方法可能产生次优结果，因为它们未融入任务特定信息。因此，一些方法探索利用LLMs的反馈信号来区分重要与不重要样本，并进一步使用排序（Li et al., 2023a (https://arxiv.org/html/2606.00014#bib.bib11)）、对比学习（Cheng et al., 2023 (https://arxiv.org/html/2606.00014#bib.bib10); Luo et al., 2023 (https://arxiv.org/html/2606.00014#bib.bib27)）和多样性（Ye et al., 2023 (https://arxiv.org/html/2606.00014#bib.bib24)）等目标函数优化特定任务的检索器。但这些方法往往依赖LLMs的反馈，导致计算复杂度较高。

**ICL中的OOD鲁棒性。** 在ICL设置中，分布偏移常导致性能大幅下降，暴露出模型对未见领域敏感且鲁棒性有限（Yuan et al., 2023 (https://arxiv.org/html/2606.00014#bib.bib18); Wang et al., 2025 (https://arxiv.org/html/2606.00014#bib.bib28)）。这种分布差距会损害示例检索，因为检索到的示例可能不再与目标任务语义对齐。为解决此问题，先前工作探索了示例增强，包括引入外部知识（如语言规则（Jiang et al., 2024 (https://arxiv.org/html/2606.00014#bib.bib29)）或人工反馈（Bai et al., 2024 (https://arxiv.org/html/2606.00014#bib.bib30)））以微调LLMs。然而，微调的必要性仍存争议，一些研究表明LLMs本质上具备处理OOD数据的能力（Uppaal et al., 2023 (https://arxiv.org/html/2606.00014#bib.bib31); Zhang et al., 2024 (https://arxiv.org/html/2606.00014#bib.bib20)）。受此观点启发，语义改写成为一种替代方案，促使LLMs调整源样本以更好地匹配目标领域（O’Brien et al., 2024 (https://arxiv.org/html/2606.00014#bib.bib12); Madine, 2024 (https://arxiv.org/html/2606.00014#bib.bib13)）。

## 3 方法

参见图例 图 1：基于情感分析任务的DOPA模型架构。首先，DOPA在源领域进行任务特定指令微调，基于任意给定的LLM获得一个源代理。相应地，一个未经微调的相同LLM（保留目标领域的先验知识）被用作目标领域代理。对于相同输入，两个代理的比率被用作OOD代理估计，进一步与相似度和多样性结合，支持多粒度示例搜索。

### 3.1 任务定义与模型描述

我们的模型描述从一些定义开始。在OOD设置中，LLM \(\mathcal{M}\) 被限制仅使用来自 \(\mathcal{D}_S\) 的数据进行ICL，并期望对来自 \(\mathcal{D}_T\) 的任何样本 \(x_t\) 做出尽可能准确的预测。在LLM推理过程中，除了 \(x_t\) 外，来自 \(\mathcal{D}_T\) 的所有样本严格不可访问，这阻止了模型通过参考相似分布中的样本进行决策。对于ICL，通过从 \(\mathcal{D}_S\) 中选择 \(N \times |\mathcal{Y}|\) 个有标签示例 \((x^{(j)}, y^{(j)})_{j=1}^{N \times |\mathcal{Y}|}\) 构建一个提示 \(\mathcal{P}\{x_t\}\)，然后将其与 \(x_t\) 拼接并输入任意 \(\mathcal{M}\)。这里 \(|\mathcal{Y}|\) 表示标签空间的大小。然后，LLM产生预测 \(\hat{y}_t = \mathcal{M}(\mathcal{P}\{x_t\})\)。在不同任务设置中，\(\hat{y}_t\) 可以根据输出空间采用不同形式。对于分类任务，它通常对应一个表示标签类别的token（例如，正面或负面），而对于生成任务，它可能是一个代表期望输出的字符串。

如图1 (https://arxiv.org/html/2606.00014#S3.F1) 所示，DOPA包含两个主要组成部分：OOD代理估计和多粒度示例检索。代理估计模块使用OOD代理评估源领域样本与目标领域的接近程度，而示例检索模块通过联合优化语义相似度和多样性约束来选择适当的示例。

### 3.2 OOD代理估计

OOD代理估计的目标是评估源领域样本的效用，以选择那些与目标领域更对齐的样本。但由于无法访问目标领域，准确评估目标分布很困难。因此，受先前OOD检测工作的启发（Ren et al., 2019 (https://arxiv.org/html/2606.00014#bib.bib19); Zhang and Wischik, 2022 (https://arxiv.org/html/2606.00014#bib.bib16)），我们构建一个OOD代理来近似目标领域分布，并通过代理计算任何样本的OOD分数。OOD分数随后用于引导从 \(\mathcal{D}_S\) 中选择样本。

**代理构建。** OOD代理由两个组件组成：源代理和目标代理，它们分别理想地建模源分布和目标分布。对于前者，一个直观的方法是在源领域上对LLM进行指令微调，使模型能更好地适应源分布。在DOPA中，源代理的指令以与ICL相同的格式封装，旨在促使LLM产生合理的任务相关预测。形式上，对于容易访问的源领域数据 \(x_s \in \mathcal{D}_S\)，DOPA通过以下交叉熵监督损失来优化LLM：

\[
\mathcal{L}_{\text{sft}} = - \sum_{j=1}^{T} \log p_{\mathcal{M}}(y_{i,j} | \mathcal{P}\{x_s\}, y_{i,<j})
\]

其中 \(\mathcal{P}\{x_s\}\) 是与源样本 \(x_s\) 对应的提示，\(y_{i,<j}\) 是前 \(j-1\) 个token。

对于目标代理，我们采用未经任何微调的原始LLM，假设其保留了对目标分布的先验知识。这通常是一个合理的假设，因为预训练阶段使用了包含目标领域数据在内的大规模语料。源代理和目标代理共同构成了近似估计目标分布对源样本熟悉程度的代理。

**OOD分数计算。** 利用构建的代理，我们为每个源样本计算OOD分数。具体来说，对于任何源样本 \(x_s\)，OOD分数定义为源代理预测的困惑度与目标代理预测的困惑度之比：

\[
\text{OOD}(x_s) = \frac{\text{PPL}_{\text{target}}(x_s)}{\text{PPL}_{\text{source}}(x_s)}
\]

其中 \(\text{PPL}_{\text{target}}(x_s)\) 和 \(\text{PPL}_{\text{source}}(x_s)\) 分别表示目标代理和源代理在 \(x_s\) 上的困惑度。较低的OOD分数表明源样本与目标分布更相似（即分布外程度较小），因此更可能作为有效的ICL示例。

**有界代理误差。** 我们提供了理论保证，说明使用代理近似真实分布时，对数似然比误差是有界的。在如下假设下：代理与真实分布之间的KL散度有界，且分布有逐点下界，我们证明了以下定理。

**定理 1（对数似然比的有界误差）。** 设 \(P_{\text{target}}, P_{\text{source}}\) 为真实分布，其代理分别为 \(P_{\text{target}}^{\text{proxy}}, P_{\text{source}}^{\text{proxy}}\)。假设存在 \(\varepsilon_t > 0, \varepsilon_s > 0, m_t > 0, m_s > 0\)，使得以下条件成立：
- KL散度有界：\(D_{\mathrm{KL}}(P_{\text{target}} \parallel P_{\text{target}}^{\text{proxy}}) \leq \varepsilon_t, D_{\mathrm{KL}}(P_{\text{source}} \parallel P_{\text{source}}^{\text{proxy}}) \leq \varepsilon_s\)。
- 代理分布有逐点下界：\(P_{\text{target}}(x), P_{\text{target}}^{\text{proxy}}(x) \geq m_t, P_{\text{source}}(x), P_{\text{source}}^{\text{proxy}}(x) \geq m_s\)。

那么，对所有 \(x\)，对数似然比的误差满足：

\[
\left| \log \frac{P_{\text{target}}(x)}{P_{\text{source}}(x)} - \log \frac{P_{\text{target}}^{\text{proxy}}(x)}{P_{\text{source}}^{\text{proxy}}(x)} \right|
\leq \frac{\varepsilon_t}{m_t} + \frac{\varepsilon_s}{m_s}.
\]

**引理 1（均匀代理下的误差界）。** 基于定理 1 (https://arxiv.org/html/2606.00014#Thmtheorem1)，如果使用均匀分布作为目标代理，它更可能...