提示空间元学习在用户间无法迁移：一项冻结LLM的负面结果

# 提示空间元学习无法跨用户迁移：一个冻结大语言模型的负面结果

来源：https://arxiv.org/html/2609.01615

作者：Liam Byrne, David Dylan, Orla Fitzgerald, Eoin Doyle, Ciara Nolan, Padraig Lynch, Sinead Gallagher  
D. Dylan, L. Byrne, C. Nolan 和 S. Gallagher 隶属于都柏林圣三一大学；O. Fitzgerald 和 P. Lynch 隶属于都柏林大学学院；E. Doyle 隶属于都柏林城市大学，爱尔兰都柏林。

###### 摘要

将冻结的大语言模型（LLM）个性化以适应单个用户，通常被构建为一个提示空间中的元学习问题：每个用户是一个任务，目标是寻找一个共享的自然语言适应策略，该策略在给定用户少量标记交互后，能够为该用户配置冻结模型。这种框架具有吸引力，因为它与模型骨干无关，并且重用了提示优化的机制，然而该领域很少测试优化的元目标是否编码了可迁移的跨用户适应能力，而非通用的指令质量。

我们通过 **Muse（通过共享进化的元学习用户适应）** 来研究这个问题，该方法通过反思性提示进化，在元训练用户群体上进化出一个共享的适应提示，将其冻结，并零样本应用于保留用户；匹配的对照组隔离了来自表述和选择混淆因素的学习。在两个标准个性化基准（LaMP-2 分类和 LaMP-3 评分）上，分别针对 200 个保留用户，Muse 并未显著优于其自身未进化的种子提示，也未优于一个结构破坏的对照组（该对照组在错误的用户-支持对上进行元训练），并且在评分任务上被简单的少样本检索所主导（ΔMAE +0.175，p < 0.001）。

我们将这些结果归因于一个单一的机制，**元目标坍缩**：元验证目标在统计上对用户-支持对应关系是否真实（LaMP-2 上 p = 0.555，LaMP-3 上 p = 0.622）保持不变，因此它无法被优化为可迁移的适应能力，反而奖励指令润色和验证过拟合。种子提示、错误支持组和不变性-预言机对照组构成了一个可复用的协议，将学习到的适应能力与这些混淆因素分离开来。

###### 索引术语：
少样本学习，冻结语言模型，大语言模型，元学习，负迁移，个性化，提示优化，迁移学习，用户建模。

**标题说明：核心负面结果。** 在两个基准上，使用 Muse（π⋆）元学习共享适应提示，在统计上与其自身未进化的种子提示（π₀）和一个结构破坏的对照组（其人设策略是在故意不匹配的用户-支持对上元训练得到的 (*mismatch*)）无法区分。这三者也与最强的人设基线（Pag）持平。在 LaMP-3 评分任务上，简单的少样本检索（Rag）以显著优势获胜（p < 0.001）；在 LaMP-2 分类任务上，所有方法都集中在接近持平的水平。柱状图表示在 200 个保留用户上的准确率（↑，左）和平均绝对误差（↓，右）；须线表示 95% 置信区间。"元学习无法击败其自身种子或结构破坏的对照组"是本文的论点。

## I 引言

个性化已成为大语言模型（LLM）服务的核心要求：同一个模型需要服务于数百万用户，但每个用户都带来独特的偏好、标注倾向和风格。由于对托管模型*按用户*进行重训练甚至参数高效微调在规模上不可行，大量且不断增长的研究工作通过操作其输入来个性化一个*冻结*的骨干网络——检索用户过去的交互，将其提炼成简洁的人设，或前置学习到的软提示或自然语言提示\[49, 45, 84, 58, 85\]。一个自然且有吸引力的方法是将其视为一个*元学习*问题。如果我们把每个用户视为一个任务，将用户标记的历史作为支持集，将其未来的交互作为查询，那么个性化正是元学习设计的少样本、快速适应机制\[9, 15\]。我们希望在用户群体上元学习一个单一的*适应策略*，该策略将任何新用户的支持集映射到冻结模型的配置上，使其在该用户的查询上表现良好。由于骨干模型是冻结的，只有其文本输入是可变的，这种思想最直接的实现在*提示空间*：元学习一个共享的自然语言“适应提示”，当它与用户历史结合时，能为每个用户诱导出特定的人设。这种框架在多个方面都很吸引人——它与骨干模型无关，它重用了成熟的提示优化和进化机制\[88, 75, 1\]，并且承诺提供摊销的、可迁移的适应能力，而非为每个用户定制流程。

本文探讨提示空间元学习是否真正学到了可迁移的跨用户结构，或者它是否只是表面上如此。我们通过 **Muse（通过共享进化的元学习用户适应）** 这一概念的清晰实例来解决这个问题，在该方法中，使用类似 Gepa 风格的反思性提示进化，在元训练用户群体上进化出一个共享的适应提示 π，根据每个候选提示在元训练用户自身保留查询上的准确率（或负误差）进行评分，在*不相交*的元验证群体上进行选择，冻结为 π⋆，并零样本应用于为每个保留的 200 个测试用户构建人设。Muse 与一个冻结的 Qwen3-30B-A3B 骨干网络\[74\]、确定性基准评分以及一系列强大的基线（无个性化、随机用户、配置文件增强生成、提炼人设以及不同预算下的检索增强少样本）一起，被置于一个可比较的测试环境中。据我们所知，这是首次对照的、直接的比较测试，将 Gepa 风格的提示进化作为*跨用户元学习*用于冻结 LLM 的个性化。

研究结果是一致的，乍一看违反直觉。使用进化后 π⋆ 的 Muse *并未*显著优于使用其手写种子提示 π₀ 运行的相同流程；事实上，在两个基准上，种子提示在数值上表现更好。Muse 也*未*击败一个刻意破坏结构的对照组，该对照组的共享提示是在*不匹配*的用户-支持对上元训练得到的（即每个人设是根据不同用户的历史构建的），并且它与最强的人设基线在统计上持平。在评分基准上，简单的少样本检索以巨大且高度显著的优势主导了所有人设方法。这些并非孤立的无效结果，而是一个单一机制的症状，我们将其命名为并量化为**元目标坍缩**。优化器所攀登的聚合元验证目标是结构盲的：它在统计上对用户-支持对应关系是否真实保持不变。在元训练期间扰乱用户到支持的分配（这通过设计破坏了适应信号）所引起的选项目标变化量与零无法区分。一个无法区分对齐支持与混乱支持的目标，即使在原则上也无法被优化为可迁移的适应能力；优化器只能获得通用的指令润色，而种子提示已经提供了这一点，加上对小规模（30 用户）验证群体的过拟合。这是*代理目标错位*的一个具体实例：被优化的元验证代理与真正的、可迁移的按用户适应目标脱节。

这是一个负面结果，我们如此报告它：标题数字、回归任务上的检索优势以及每个置信区间都直接陈述。贡献在于诊断的严谨性以及产生它的对照组。相同的三个对照组——种子提示基线、错误支持扰乱以及不变性/预言机构成分析——构成了一个可复用的评估协议，在将学习到的适应能力归因于提示空间方法之前可以应用。没有它们，Muse 展示的指令润色和验证过拟合很容易被误认为是真正的跨用户迁移。

**贡献。** 本文的主要贡献总结如下：
- • **Muse：** 提示空间元学习用于个性化的清晰实例化与测试。我们将冻结 LLM 的用户即任务个性化形式化，并使用 Muse 进行实例化，这是首次对 Gepa 风格的反思性提示进化作为跨用户元学习器进行可比较的测试。Muse 在元训练用户群体上进化出一个共享的自然语言适应提示，将其冻结，并零样本应用于保留用户（第 III 和 IV 节）。
- • **通过扰乱对照组诊断元目标坍缩。** 使用不匹配（错误支持）对照组，我们表明元验证目标对扰乱用户-支持对应关系*在统计上保持不变*（LaMP-2 上 Δ准确率 +0.033，95% CI [-0.050, +0.117], p = 0.555；LaMP-3 上 Δ奖励 +0.013, [-0.029, +0.054], p = 0.622）。一个对此结构盲的目标不包含可利用的跨用户适应信号（第 VII 节）。
- • **量化小规模群体上的元过拟合。** 我们测量了元验证与元测试之间均匀的乐观差距（LaMP-2 上约为 9 个百分点），表明元验证并未显著预测保留测试性能（Spearman ρ = +0.47, p = 0.20, ns），并观察到平坦、非单调的支持大小和元训练大小扫描——这是选择集过拟合而非学习适应的特征（第 VII 节）。
- • **不变性/预言机构成分析与可复用评估协议。** 我们将测试行为分解为表述不变和表述敏感的情况（LaMP-2/LaMP-3 上 80%/72% 为不变），将预言机提升归因于表述方差而非学习到的适应能力，并将种子提示、错误支持和不变性/预言机对照组打包成一个协议，用于区分学习到的适应能力与指令润色和验证过拟合（第 VII 和 VIII 节）。

**路线图。** 第 II 节调查了 LLM 个性化、元学习和快速适应、作为元学习的上下文学习、提示优化、测试时适应和检索，并将我们的研究定位在*学习*轴上（元目标是否提高了适应能力，相对于种子策略？），这与蒸馏与检索的表示轴是正交的。第 III 节形式化了用户即任务的个性化。第 IV 节详细描述了 Muse。第 V 节描述了基准、基线、骨干网络、指标和对照组。第 VI 节报告了主要结果。第 VII 节通过其三个机制支柱以及不变性/预言机构成分析确立了元目标坍缩。第 VIII 节得出协议层面的教训，说明何时可以预期提示空间元学习有效或无效，并列出局限性。第 IX 节进行总结。

## II 相关工作

我们沿六条主线组织先前的工作，这些主线共同定义了我们的研究场景和测试的方法：（i）LLM 个性化和用户建模；（ii）元学习和快速适应；（iii）作为元学习的上下文学习；（iv）提示优化和进化；（v）测试时适应；（vi）检索和检索增强生成。在全文中，我们区分两个正交的轴。*表示*轴询问如何将用户历史编码到冻结模型的输入中（例如，提炼的人设与检索的样例）；姊妹研究《蒸馏还是检索？》孤立了该轴，因此我们仅在下面引用一次以明确我们的贡献在不同的轴上。*学习*轴——我们的焦点——询问在用户群体上攀登的元目标是否提高了超越固定种子策略的适应能力。我们的负面发现完全存在于学习轴上。

### II-A LLM 个性化和用户建模

语言模型个性化（LaMP）基准套件建立了一个标准协议，其中每个用户提供了过去标记交互的配置文件，模型必须预测用户在新项目上的行为\[49, 24\]。一个主流方法族通过用户配置文件来增强提示，无论是直接还是经过摘要。配置文件增强生成（PAG）使用固定的手写指令将用户历史提炼成自然语言配置文件\[45\]；检索配置文件然后生成的流水线在回答前选择最相关的历史项目\[48\]。PersonaAgent 及相关的智能体个性化器通过自我反馈迭代人设\[84\]，而插件式用户编码器如 P-PLUG 和 UserLLM 将用户压缩为软令牌或嵌入，用于调节骨干网络\[30, 38\]。参数端个性化（以 OPPU 和按用户参数高效模块为代表）\[58, 59, 14\]为每个用户微调一个小型适配器；这些方法功能强大，但假定对模型权重有写权限，而托管冻结骨干网络的场景不允许这样做。一个互补的文献为推荐和偏好预测建模用户\[71, 81, 36\]，构建用户状态的显式长期记忆\[40, 87\]，并研究人设一致性和角色保真度\[83, 70, 60, 52, 68, 61, 50, 7\]。