KuaiRP 系列角色扮演模型技术报告

# 1 KuaiRP训练流程概览
来源：https://arxiv.org/html/2609.11127
![[无标题图片]](https://arxiv.org/html/2609.11127v1/images/gamemind_logo.png)

GameMind

KuaiRP系列角色扮演模型技术报告

快手GameMind实验室

完整作者列表请参见[贡献](https://arxiv.org/html/2609.11127#Sx1)章节。

本文介绍了KuaiRP系列角色扮演模型的完整技术解决方案。我们旨在为专用角色扮演模型实现四个核心目标：简化的提示工程、高度稳定的输出质量、内置的领域世界知识以及高效率的小参数规模部署。然而，有效注入深度领域知识往往会导致模型通用智能体能力的严重灾难性遗忘。为了克服这一权衡，我们提出了一种多阶段训练流程。首先，我们设计了标准化角色模板，并构建了基于用户行为模拟和反向轮廓过滤的SFT数据流程。接下来，在强化学习（RL）阶段，我们利用基于规则的复合奖励函数来消除长度膨胀和重复生成等常见的退化现象。最后，为恢复在SFT和RL阶段受损的通用能力，我们提出了一种新颖的自蒸馏范式，采用配备累积发散衰减（CDD）的两阶段策略内蒸馏（OPD）。通过使用领域适配模型作为教师模型，原始基础模型作为学生模型，我们有效地平衡了深度领域知识注入与通用智能体能力的保留。实验结果表明，KuaiRP模型不仅在我们目标领域的角色扮演保真度上匹配了当前最先进的闭源模型，而且成功恢复了通用智能体能力，同时保持了极低的部署成本。

参见说明图1：KuaiRP训练流程概览。
# 目录

## 1 引言

虽然当前开源生态中存在许多角色扮演模型——甚至通过提示工程，通用大语言模型（LLM）也能实现基本的角色扮演能力——但构建一个专用的、高保真度的角色扮演模型对于沉浸式应用场景仍然至关重要。我们从四个维度定义专用角色扮演模型的核心目标：

1. 1\.更简单的提示工程：无需仔细调整提示的结构和措辞，模型即可稳定遵循角色设定，实现高保真度的角色扮演。
2. 2\.更稳定的输出质量：在多轮对话中保持一致的格式、适度的长度和足够的多样性，避免格式混乱、对话轮次逐渐膨胀和内容重复等常见的退化现象。
3. 3\.内置领域世界知识：将相关世界知识（例如，目标领域设定）内化到模型参数中，使其能够进行逼真的角色扮演，而无需严重依赖外部知识库。
4. 4\.小规模，高效率：模型可以在单块消费级GPU（例如，24GB显存）上部署，并且具有较低的推理延迟，满足生产环境的成本效益要求。

### 1\.1 技术挑战

同时实现这四个目标带来重大的技术挑战：深度领域知识注入与通用智能体能力保留之间的权衡。注入大量世界知识通常需要在高度专业化的领域数据上进行全参数监督微调（SFT）。然而，在如此狭窄的分布上进行大量训练会导致模型遭受灾难性遗忘，严重降低其通用能力（例如，工具调用、逻辑推理和指令遵循）。相反，像LoRA这样的参数高效方法保留了通用能力，但在内化事实性世界知识方面效率低下是出了名的。

### 1\.2 方法概述

为克服这一困境，我们提出了一个综合性的训练流程来构建KuaiRP系列模型，如图1所示(https://arxiv.org/html/2609.11127#S0.F1)。首先，我们设计标准化角色模板以统一提示接口。然后，利用商业模型蒸馏、用户行为模拟和反向轮廓过滤构建高质量SFT数据集。接下来，我们应用强化学习（RL）——采用基于规则的复合奖励函数，对格式、长度和多样性施加硬约束——来校正输出分布并消除退化问题。最后，为恢复在SFT和RL阶段丢失的通用能力，我们引入了一种新颖的两阶段策略内蒸馏（OPD）方法。通过使用原始基础模型作为学生模型，领域适配模型作为教师模型，我们成功地在保持基础模型通用能力的同时，注入了领域能力。

### 1\.3 贡献

我们的主要贡献总结如下：

- •高质量数据流程：我们引入了一个强大的数据构建流程，具有用户行为指令注入和反向轮廓过滤功能，可生成高度多样化且准确的SFT数据，用于角色遵循。
- •新颖的自蒸馏训练范式：我们提出了一个从相同基础模型开始并结束的SFT→\\rightarrow RL→\\rightarrow 两阶段OPD流程。不同于传统的SFT→\\rightarrow RL范式（通常遭受通用能力的灾难性遗忘）和常规的跨模型蒸馏（从大教师到小学生），我们的方法使用领域适配模型作为教师，原始基础模型作为学生。这有效地平衡了深度领域知识注入与基础模型通用能力的保留。
- •累积发散衰减（CDD）：我们识别了策略内广义知识蒸馏（GKD）[1] (https://arxiv.org/html/2609.11127#bib.bib12)中的前缀漂移问题，这是该领域最近认识到的一个关键挑战（例如，IW-OPD, FiRe-OPD），并引入CDD作为关键的算法改进。不同于打破自回归因果关系或依赖启发式硬过滤的方法，CDD通过基于严格因果发散的平滑权重衰减，确保稳定且彻底的世界知识注入，而无需强迫学生模型学习来自嘈杂、分布外的教师响应。
- •实证成功：我们展示了KuaiRP系列模型，在目标领域场景内，与闭源模型（例如，M2-HER）相比，达到了最先进的角色扮演保真度，同时成功保持了强大的通用智能体能力和低部署成本。

## 2 角色扮演模板设计

### 2\.1 动机

提示工程是指为AI模型设计和优化输入指令（提示）以获得更准确、更高质量输出的技术。然而，在实际使用中，每个角色创作者都有自己偏好的表达习惯，这导致为不同角色生成的提示质量参差不齐。

为此，我们设计了一个固定的**角色扮演模板**，发挥双重调控作用：

1. 1\.**对角色创作者**：它提供了一个标准化的填空模板，可以全面描绘角色的各个维度。
2. 2\.**对模型**：统一的提示结构使模型能够准确、稳定地理解角色设定。无论加载哪个角色，都能实现高保真度的角色扮演。

### 2\.2 模板结构

角色扮演模板的具体结构见附录A (https://arxiv.org/html/2609.11127#A1)。

### 2\.3 两个特殊设计点

1. 1\.**将玩家轮廓信息融入提示**：这是实现**个性化**对话的核心。在传统的角色扮演模型中，角色平等对待所有玩家；而我们明确地将玩家的轮廓信息（昵称、与角色的关系、性别等）写入提示，使模型能够感知基于不同用户的差异化社交情境。例如，与角色关系亲密的玩家会被以其昵称相称，并获得更随意的语气，而关系陌生的玩家则会得到更正式和礼貌的回应。这种设计使角色能够适应不同的人，而不是使用统一的回复模板。
2. 2\.”**特定行为模式**”部分：引入了角色行为的触发机制，直接适配游戏场景中的玩法需求。例如，当玩家提及特定关键词或满足某些游戏内条件时，角色可以触发特殊反应。

## 3 SFT

### 3\.1 数据构建

#### 3\.1\.1 概述

我们的SFT数据流程分为两个阶段：首先根据角色扮演模板填充角色库，然后让商业模型扮演角色，用户模型扮演玩家进行交互，最终生成用于SFT的多轮对话训练数据。以下分解每个步骤。

#### 3\.1\.2 角色库

我们从目标领域的小说原著中提取了12个性格最鲜明的角色，然后基于其世界观设定设计了13个衍生角色，以在性格、性别、年龄和风格等维度上实现均衡覆盖。由于用户的性别信息也是角色设定提示的一部分，每个角色对应两个版本的设定（分别针对男性和女性用户），最终产生了总共50个用于数据生成的角色提示。

这50个角色提示被输入到一个商业LLM中，让它扮演这些角色。

#### 3\.1\.3 用户库

在传统的数据蒸馏方案中，通常只使用单一的用户模型与角色扮演模型交互。为确保训练数据覆盖不同类型的用户风格并增强数据多样性，我们构建了一个包含10种不同风格的用户轮廓库。这些用户轮廓与真实网络聊天的共同特征一致：大量使用表情符号、零碎的短句、不正确或缺失的标点符号、网络俚语等。

#### 3\.1\.4 数据生成（模拟对话）

我们使用Claude 3\.7 Sonnet作为角色扮演模型，Qwen2\.5-14B[7] (https://arxiv.org/html/2609.11127#bib.bib5)作为用户模型进行对话。与传统方法相比，我们做出了三个关键创新：

##### 通过指令注入进行用户行为模拟

尽管在轮廓层面已经模拟了不同风格的用户，但实际对话中的用户行为可能仍然缺乏某些现实特征，例如：不合作、突然开启新话题、拼写错误和遗漏词语等。因此，在生成用户回合之前，我们会临时注入一条系统消息（这比修改原始系统提示更有效，因为临时注入的信息更接近token的生成），以精确控制用户行为。这些行为采样自我们预定义的**行为策略库**。

行为策略库的覆盖范围远不止表层风格改变——它不仅包括不合作、开启新话题等交互模式，还包括询问历史信息、询问角色轮廓细节、询问目标领域世界观知识、工具调用和对抗性攻击等关键行为。这种设计使我们能够在自然对话中高效地蒸馏商业模型的角色遵循能力，并将世界知识有机地融入训练数据——这远比使用QA对直接训练更高效。

##### 反向轮廓过滤

尽管我们已通过指令注入明确模拟用户行为以触发角色轮廓中的特定条目，但仍无法保证在有限的对话轮次内触发所有轮廓条目。此外，我们不能保证蒸馏的商业模型会100%按照轮廓中的特定条目进行响应。因此，在整个对话过程中，可能存在一些在轮廓中的条目没有任何对应的角色响应——这些“无效条目”对模型构成了噪声。如果模型试图遵循这些在学习过程中从未被示范过的条目，反而会偏离指令遵循的核心要求。

为此，我们设计了一个**反向轮廓过滤**（简称**RPF**）机制：对于每一条蒸馏数据，我们在轮廓模板中的每个条目与角色的响应之间进行语义相关性检测，移除在整个对话过程中从未在任何角色响应中体现的无效条目。经过反向过滤后，每个训练样本中保留的轮廓条目都与对话内容严格对应，使得模型学习的“轮廓→\\rightarrow响应”映射关系更纯净、更精确。同时，由于不同的对话触发了轮廓条目的不同子集，过滤后的数据自然地在轮廓组合上具有更高的多样性，进一步丰富了训练分布。

该机制的有效性可以通过领域角色扮演能力的对比实验来验证：如表7 (https://arxiv.org/html/2609.11127#S6.T7)的**Char-Consist.**维度所示，使用RPF的SFT模型比不使用RPF的消融模型在角色一致性方面表现更好，表明该机制提高了模型的指令遵循能力，并在角色扮演中产生了更好的角色一致性。

##### 对话轮次分层采样

最初，我们为所有“角色-用户”对模拟了20个会话，每个会话15轮对话，但后来发现训练模型在长轮次对话（\>10轮）中性能显著下降。因此，在保持总token消耗大致相同的前提下，我们将模拟轮次划分为多个梯度组：

- •5轮×\\times4组
- •10轮×\\times4组
- •15轮×\\times4组
- •20轮×\\times4组
- •25轮×\\times4组

这确保了训练数据在所有轮次长度区间上有充足的分布，有效缓解了长轮次对话中的退化问题。

### 3\.2 微调过程

我们在Qwen3-8B[12] (https://arxiv.org/html/2609.11127#bib.bib4)基础模型上比较了基于LoRA的SFT[2] (https://arxiv.org/html/2609.11127#bib.bib13)和全参数SFT方案，并做出了以下关键发现：

1. 1\.**LoRA的优势**：LoRA可以轻松学习对话的格式特征——包括动作格式标记、性别称呼、轮廓遵循等——并且由于参数量有限，不易过拟合。
2. 2\.**LoRA的局限性**：LoRA对世界知识的注入**极其不敏感**。这在角色扮演场景中是一个致命缺陷：角色需要内化背景设定、角色关系、世界观规则等目标领域的知识，但LoRA的低秩瓶颈限制了知识注入的深度。我们测试了使用更大学习率的方案，在这种情况下LoRA确实可以注入更多知识，但也显示出明显的过拟合，并且与全参数SFT方案相比没有带来显著收益。
3. 3\.**最终选择**：基于以上对比，我们放弃了