冻结代理中受限人格在分类任务匹配检索但在回归任务不匹配

# 冻结智能体在分类而非回归任务上的有限人物画像匹配检索  
来源：https://arxiv.org/html/2609.02890  
JaeHa Yoon¹, Minjun Park¹, Seoyeon Kim², Jiwoo Lee³, Hyunwoo Choi¹, Dohyun Kang²  
¹首尔国立大学 ²韩国科学技术院 ³高丽大学，韩国首尔  
jaeha\.yoon@snu\.ac\.kr  

###### 摘要  

个性化语言智能体必须在推理时将用户的交互历史转换为每次新请求的行为。主流策略有两种：检索法将用户少数最相关的过往条目拉入提示词，准确但需承担随历史增长的逐次查询选择与上下文成本；蒸馏法则将历史一次性压缩为紧凑的自然语言人物画像，具有有限性、查询无关性和可解释性，但通常被认为会牺牲准确性。蒸馏人物画像是否以及在何种任务上能达到检索的效果尚未被清晰刻画。本文提出PersonaLink，一种无需训练的方法，可将用户历史蒸馏为包含三个字段的有限人物画像并进行递归优化：每次迭代在用户自身标记历史的保留片段上自我评估冻结智能体，基于错误重写人物画像，并仅当该片段性能不退化时才保留结果。由于所有比较共享一个冻结的7B模型且仅上下文内容不同，该设计将表征效果与模型效果隔离。结果揭示了明显的任务类型不对称性：在LaMP-2数据集（15类新闻分类）的200名用户中，PersonaLink达到0.745–0.755准确率，与BM25检索（0.760–0.765）统计上无显著差异；在LaMP-3数据集（1-5级产品评分回归）的200名用户中，检索明显更强（平均绝对误差0.285 vs. 0.455，p<10⁻⁴），且随检索条目k增长持续提升，在k=20时达到0.790准确率和0.250 MAE且无平台期。递归优化在首次迭代后增益甚微：人物画像表征向每用户固定点收缩（每次迭代位移0.90→0.21→0.02，模L=0.144，R²=0.979），优化随即饱和。因此，有限蒸馏仅当任务为选择标签时才足以替代检索，而在需要校准数值尺度时则不行。  

参考图片图1：**PersonaLink将用户历史蒸馏为有限、查询无关的人物画像，该画像一次构建后经单次迭代即收敛至固定点**。它在LaMP-2分类任务中匹配检索效果，但在LaMP-3回归任务中不敌检索，且检索（RAG）作为非先验方法的性能天花板依然稳固。  

## 1引言  

从操作层面看，个性化语言智能体是将用户历史映射至新请求行为的函数。同一篇新闻文章对一位读者可能归入“政治”类别，对另一位则归入“风格与美容”；同一产品评论在宽容与严苛的评分者手中应获得不同分数。智能体永远看不到新项目的用户标签，因此所有个性化信号必须来自该用户**过去**的标记项目。如何将历史转化为单一推理是个性化LLM系统的核心设计选择之一。  

已形成两种主流答案：一是**检索**——在查询时将用户最相关的少数过往项目作为示例拉入提示词；二是**蒸馏**——将历史一次性压缩为简洁的自然语言画像，并前置到每个后续查询中。蒸馏的优势在于画像一次构建、大小有限、对每个查询均相同且可读性强，但普遍认为其准确性不及检索。蒸馏人物画像何时以及**在何种程度上**能实际**匹配**检索效果，尚未得到清晰界定。  

本文直接探讨此问题，提出PersonaLink（图1），一种无需训练的方法，可将用户历史蒸馏为**有限的三字段人物画像**并进行**递归优化**：每次迭代渲染当前人物画像，在用户自身标记历史的保留片段上运行冻结智能体，根据自身错误重写人物画像，并仅当新画像在保留片段上表现不劣化时才予以保留。优化深度r是明确可控的维度，呼应了递归扩展视角，而“保留更优”门控机制使循环天然具有单调安全性。由于所有方法共享同一冻结模型且仅上下文文本不同，蒸馏与检索的对比严格保持同质性。  

实验揭示了显著的任务类型不对称：在分类任务上，PersonaLink可与检索竞争——在LaMP-2上达到0.745–0.755准确率，与k=3,5时的BM25 RAG（0.760/0.765）统计无显著差异；在回归任务上则被压制——在LaMP-3上MAE为0.455，而RAG-5为0.285（p<10⁻⁴），且检索性能随条目增加持续提升（k=10时MAE 0.290，k=20时0.250）且无平台期。因此检索整体上是更优方法，本文在所有结果表中将其列为最佳非先验方法。PersonaLink的贡献不在于刷新最优记录，而在于提供一种刻画：**有限、查询无关的人物画像仅在任务为选择标签时才足以替代检索**，而在需要估计细粒度量化值时则不能。  

第二个发现涉及递归本身：个性化确实有效——PersonaLink超越了无画像对照组和保持词元预算固定的随机用户对照组，说明增益并非来自提示词延长的假象；但递归优化会饱和：首次蒸馏迭代（r=1）已捕获几乎全部收益，r=2与r=3并无显著提升（ΔAcc=0.000，p=0.77）。我们将此平台期追溯至优化映射的可度量特性：人物画像表征向每用户固定点收缩，每次迭代嵌入位移从0.90→0.21→0.02，几何衰减拟合模L=0.144（R²=0.979）。本文不主张无条件收缩定理，而是提出可证伪假设、度量相关量，并将度量与单调安全性命题配对——后者由构造保证成立。  

本文贡献如下：  
- 提出PersonaLink，一种有限三字段人物画像，配备无需训练、单调安全的递归优化循环，可将用户历史蒸馏为固定大小、查询无关、可解释的表征。  
- 在单一冻结模型上通过确定性指标与配对显著性检验，刻画两项LaMP任务中蒸馏与检索的权衡，确立任务类型不对称性：蒸馏在分类任务上平手检索，在回归任务上落败，且无法随历史增长而扩展；而检索随k增长持续提升。  
- 通过实证固定点解释为何递归人物画像优化在单次迭代后即饱和，度量了人物画像表征的几何收缩（L=0.144，R²=0.979）。  

我们将PersonaLink定位为**研究有限蒸馏人物画像充分性区间**的工具，而非超越检索的竞争者。  

## 2预备知识：个性化预测设置  

我们采用LaMP论文中的个性化LLM设置。用户u关联着一个包含过往项目的**画像**Hᵤ={(xᵢ,yᵢ)}ᵢ₌₁^{mᵤ}，每个项目为带**已知**标签的（输入，标签）对：LaMP-2中是历史新闻文章及其人工分类，LaMP-3中是历史评论及其1-5级评分。测试时，智能体接收无标签的新输入x⋆，需预测ŷ。所有个性化信号均存于Hᵤ中，方法是将Hᵤ（与冻结LLM f）映射至x⋆答案的函数。  

本文按研究维度组织方法：**无个性化**忽略Hᵤ，直接计算f(x⋆)；这是自然基线；**检索（RAG）** 通过BM25选择k个最相关过往项目作为示例注入，计算f(x⋆ | top-k(Hᵤ, x⋆))；注入上下文随x⋆变化且随k增长。**蒸馏** 将Hᵤ一次性压缩为人物画像pᵤ，计算f(x⋆ | pᵤ)；注入上下文对用户固定且与x⋆无关。**随机用户对照组**注入其他用户画像以保持词元预算固定，使任何超越它的增益可归因于**正确**用户历史而非额外词元。**先验对照组**将完整真实画像置于上下文中以给出性能上限。PersonaLink是一种蒸馏方法，其人物画像有限且通过递归构建；本文问题在于此类画像能在多大程度上逼近检索效果，以及适用于哪些任务类型。  

我们在两项体现不同度量区间的LaMP任务上评估：LaMP-2（个性化新闻分类）是15类文章分类任务（类别如{政治,体育,风格与美容,科学与技术,...}），采用准确率与宏观F1评分；LaMP-3（个性化产品评分）是1-5级有序回归任务，采用MAE与RMSE（越低越好），体现细粒度量化个性化。所有指标均为确定性（scikit-learn），**评分路径中无LLM裁判**。  

## 3PersonaLink：有限、查询无关的人物画像  

参考图片图2：**PersonaLink架构**。有限三字段**人物画像状态**渲染为序言，冻结智能体在用户自身标记历史的保留片段上自我评估，并基于错误重写人物画像，受严格保留更佳门控机制约束；循环按优化深度r展开，保留的最佳人物画像用于回答测试项目。  

### 3.1轻量级有限画像状态  

核心对象是**人物画像状态**，一个包含三个有限字段的紧凑自然语言对象：（1）**偏好摘要**——描述用户稳定偏好的祈使句段（如“倾向于将政治新闻归入*政治*而非*文化与艺术*”）；（2）**少量示例**——从画像中抽取的若干代表性（输入→标签）示例；（3）**决策规则列表**——从过往项目归纳的条件启发式（如“如果评论提及缺陷但仍可用，则评3分”）。每个字段有硬性长度上限，因此无论用户历史多长，渲染的人物画像均具有**有限**大小。这与仅增加的上下文记忆、随k增长的检索注入形成刻意对比。  

有限性带来两个重要性质：一是**查询无关**——同一pᵤ前置到每个测试输入x⋆，构建一次即摊销至用户所有未来查询，注入成本为O(1)；二是**可解释**——所有字段均为可查阅编辑的人类可读文本，不同于微调适配器或软性人物画像嵌入。  

### 3.2一次构建的递归优化  

PersonaLink通过无需训练的循环基于用户**自身**画像构建pᵤ（如图2所示）。关键在于每个画像项目均带已知标签，因此循环可无需外部判断进行确定性自我验证。单次优化迭代如下：  
1. **渲染**：将当前人物画像状态pᵤ⁽ʳ⁾序列化为序言。  
2. **自我评估**：在用户画像中标签已知的保留子集Sᵤ上运行冻结智能体f(⋅|pᵤ⁽ʳ⁾)，收集错误集Eᵤ={(xᵢ,yᵢ)∈Sᵤ: f(xᵢ|pᵤ⁽ʳ⁾)≠yᵢ}。此为精确、基于标签的自我验证——无LLM裁判。  
3. **重写**：将Eᵤ与pᵤ⁽ʳ⁾提供给智能体，要求其重写人物画像以修正错误，在长度限制内编辑或删除任意字段，生成候选pᵤ'。  
4. **保留更佳门控**：仅当pᵤ'的保留片段得分不低于当前保留画像时接受新画像——严格的保留片段最优更新规则；否则保留pᵤ⁽ʳ⁾。  

我们定义r=0为无画像对照组（空pᵤ），r=1为单次蒸馏迭代（与画像摘要基线PAG重合），r≥2为递归错误驱动自我纠正。经r次迭代后，保留的最佳人物画像**渲染一次**以回答实际测试项目；测试项目不属于Sᵤ。不同深度唯一变化的是前置到相同测试问题的人物画像文本，从而隔离优化效果。  

## 4通过递归学习个性化  

第3.2节的优化循环是完全由用户自身保留信号驱动的人物画像文本内层优化。我们作出两个诚实的形式化主张：由构造保证的安全性保证，以及饱和的**实证**固定点解释。我们有意**不**主张无条件收缩定理，而是提出可证伪假设并度量相关量（第6节）。  

#### 保留片段估计器的单调安全性  

令Aᵣ表示r次迭代后保留画像的保留片段得分，A₀为空画像得分。  

###### 命题1（单调安全性，保留片段选择）  

在严格保留更佳门控下，保留画像的保留片段得分随r非递减，即对所有r有Aᵣ≥Aᵣ₋₁≥⋯≥A₀。特别地，若无候选画像在保留片段上严格优于空画像，则该过程**精确**退化为无画像对照组。  

###### 证明概要  

对r归纳。门控仅以保留片段得分不更小的候选替换当前保留画像，故Aᵣ≥Aᵣ₋₁；基础情形为A₀本身。若所有候选被拒绝，则保留画像保持为空，智能体计算f(x⋆)。完整陈述见附录A。  

#### 范围说明（预先声明）  

命题1在以下假设下成立：（1）保留片段Sᵤ与测试集独立同分布；（2）智能体在固定人物画像下输出确定；（3）保留更佳门控严格基于保留片段得分。该命题不保证全局收敛性，仅保证在给定优化序列中的单调安全性。