小而足：通过LoRA适配器对AI编辑文本进行逐用户风格重写

# 小而足够：通过 LoRA 适配器对 AI 编辑文本进行逐用户风格重写
来源：https://arxiv.org/html/2607.29238
11institutetext:挪威斯塔万格大学
11email:antorweep\.chakravorty@uis\.no
https://www.uis.no/nb/profile/antorweep-chakravorty

###### 摘要

InMyStyle 是一个隐私优先的单用户系统，它通过小型语言模型将 AI 编辑过的文本改写为符合单个用户写作风格的形式，并且在推理时无需任何指令提示。系统利用用户的文档，借助多个本地辅助 LLM 构建成对的训练样本，并在参数规模从 0.5B 到 7B 的基础模型上对 LoRA 适配器进行微调。长度感知的生成预算和自动分块支持不同长度的输入。在来自科学论文语料库的 219 个评估对上，自动综合得分在所有模型规模以及贪心解码和采样解码两种解码方式下均稳定在 0.69（0-1 量表）。这一观察到的稳定平台表明，小型模型足以完成所测量的改写任务，而模型规模决定的是权衡取舍，而非稳定的质量排名。作为次要评估，来自五个 LLM 评委的 400 个评分显示，InMyStyle 输出的平均感知 AI 味得分比其辅助 AI 生成的输入低 20% 以上，同时随着 InMyStyle 内部模型规模的增大，平均感知 AI 味得分有所降低。

## 1 引言

AI 辅助编辑可能造成一种权衡：用户希望自己的文章更清晰，但又不想牺牲个人的措辞、句子结构和表达框架。这就带来了一个个性化问题：能否在保留内容的同时，将 AI 编辑过的段落向特定用户的写作风格方向改写？我们的目标不是规避 AI 文本检测器，而是实现个性化改写。

InMyStyle¹¹项目源码：https://github.com/achak1987/inmystyle 是一个隐私优先的单用户系统，它从用户自己的文档中学习这种转换。多个本地辅助 LLM 将原始段落转换为“AI 影子”变体，然后与原始段落配对，用于在四个紧凑型 Qwen2.5 模型[14 (https://arxiv.org/html/2607.29238#bib.bib20)]上训练 LoRA 适配器[8 (https://arxiv.org/html/2607.29238#bib.bib10)]，这些模型的参数规模分别为 0.5B、1.5B、3B 和 7B。仅响应（response-only）损失将优化限制在用户书写的目标 token 上。三个需求决定了系统设计：推理时不使用显式风格指令、不对外处理个人文档、以及为每个用户使用独立的适配器，而非通用的“人性化”模型。

我们的核心问题是：所测量的改写任务需要多大的基础模型容量。我们假设，个人在措辞、句子结构和表达框架上的反复性偏好可以通过低秩更新来捕获，而无需训练完整模型。我们在贪心解码和采样解码两种方式下，对来自 73 个科学论文段落的 219 个留出对评估了所有模型。所有模型与解码的组合都达到了 0.69（0-1 量表）的自动综合得分，形成跨模型规模的平台效应。这表明，在给定的数据集和训练方案下，紧凑型模型即可处理所测量的任务，而当计算资源受限时，较小规模的模型更为合适。

作为次要评估，五个 LLM 评委提供了 400 个感知 AI 味评分。合并所有评委的评分后，InMyStyle 改写输出的平均感知 AI 味得分比其辅助生成的输入低 22%。不同评委之间的评分差异很大，而在 InMyStyle 内部，按模型规模合并的平均值随着模型规模的增大而下降。这一描述性的次要结果偏向于在较低感知 AI 味更受重视且额外计算资源可用时选择 7B 模型；但它并未推翻自动得分的平台效应，也未表明能进一步恢复目标用户的声音。

我们的贡献包括：(1) 一个本地流水线，用于构建多家族 AI 影子到用户原始的成对训练样本，并具备段落级别的隔离和长度感知改写；(2) 一项受控的模型规模和解码方式研究；(3) 一项基于 LLM 作为评审判的感知 AI 味分析。

## 2 相关工作

文本风格迁移旨在改变文本的风格属性，同时保持底层内容[9 (https://arxiv.org/html/2607.29238#bib.bib11)]。作者身份迁移尤其具有挑战性，因为目标是用户反复出现的偏好，而非预定义的属性。StyleRemix 使用预训练的 LoRA 模块来扰动可解释的风格维度，以实现作者身份混淆[4 (https://arxiv.org/html/2607.29238#bib.bib6)]。TinyStyler 将 800M 参数的模型与作者身份嵌入相结合，实现到目标风格的少样本迁移[7 (https://arxiv.org/html/2607.29238#bib.bib9)]，而 AuthorMix 则逐层组合作者特定的 LoRA 适配器，以支持低资源目标作者[17 (https://arxiv.org/html/2607.29238#bib.bib25)]。InMyStyle 的不同之处在于，它从用户的文档中构建 AI 影子到用户原始的成对示例，并训练专用的改写适配器。在推理时，它既不需要目标示例，也不需要显式的风格指令。

LoRA 通过冻结基础模型并学习低秩更新，实现了紧凑的任务或用户特异性适配[8 (https://arxiv.org/html/2607.29238#bib.bib10)]。这使得为每个用户存储独立适配器具有实用性。OPPU 同样通过单独的 PEFT 模块来表示用户特定行为[16 (https://arxiv.org/html/2607.29238#bib.bib23)]。Panza 在隐私设置方面与我们的工作最接近：它提供了一个完全本地的个性化邮件助手，使用微调、反向指令和检索增强生成[12 (https://arxiv.org/html/2607.29238#bib.bib17)]。相比之下，InMyStyle 的目标是段落级改写，只使用一个本地适配器，且推理时不包含检索组件。我们没有引入新的 PEFT 算法；贡献在于一个私有的成对数据流水线以及 LoRA 适配的受控比较。

风格迁移本质上涉及多个方面，因为更强的风格变化可能降低语义保真度或流畅度。自动指标也可能与人类判断不一致，因此有必要结合语言模型或人类进行互补评估[13 (https://arxiv.org/html/2607.29238#bib.bib18)]。InMyStyle 报告了作者身份、内容、目标相似性、AI 痕迹减少和风格测量指标的综合结果，并另外进行了一项 LLM 作为评审判的研究。关于 AI 文本检测的工作为评估改写后的机器文本提供了额外背景：RAID 发现在未见过的生成器、解码策略和对抗性变换中，检测性能会大幅下降[3 (https://arxiv.org/html/2607.29238#bib.bib5)]，而受控改写可以在不产生较大语义变化的情况下显著降低检测器的准确率[10 (https://arxiv.org/html/2607.29238#bib.bib12)]。InMyStyle 并不针对检测器规避进行训练或评估；这项工作为研究改写如何影响 AI 编辑文本的可感知和可测量特征提供了背景。

## 3 方法

### 3.1 任务定义与设计约束

InMyStyle 为每个用户学习一个独立的段落改写函数。设 \(\mathcal{Y}_{u}=\{y_{i}\}_{i=1}^{N}\) 为从用户 \(u\) 的文档中抽取的段落集合。对于每个原始段落 \(y_{i}\)，辅助模型 \(h_{k}\) 生成一个传达相同内容但使用机器生成散文风格的 AI 影子段落。在可选的破坏操作之后，该段落作为输入 \(x_{ik}\) 提供给段落改写模型，从而形成成对数据集

\(\mathcal{D}_{u}=\{(x_{ik},y_{i}): i=1,\ldots,N; \ k=1,\ldots,K\},\) (1)

其中 \(N\) 为保留的用户段落数，\(K\) 为辅助模型数量，\(i\) 和 \(k\) 分别索引源段落和辅助模型。一个冻结的语言模型加上用户特定的适配器参数 \(\phi_{u}\) 被训练用于将 \(x_{ik}\) 映射回 \(y_{i}\)。目标不是为任意输入重建精确的源段落，而是学习用户散文中的反复性偏好，同时保留输入的语义。

三个约束决定了系统设计。首先，推理时不能依赖诸如“用我的风格改写”之类的显式指令，也不能依赖检索到的风格示例。其次，个人文档和所有派生的训练文本必须保留在用户自己的机器上。第三，个性化必须由每个用户的独立适配器来表示，而非共享的多用户模型。模型的 tokenizer 仍提供其普通的对话格式，但推理输入只包含要改写的段落，没有任何显式系统消息或自然语言改写指令。

### 3.2 语料准备

源语料包含目标用户撰写的文档。InMyStyle 从源语料的 PDF 文件中提取页面文本，并在创建训练对之前经过两个阶段的过滤。第一阶段在摄取页面时执行确定性的机械清理。它规范 Unicode、修复常见的乱码文本、重新连接因行末连字符而断开的单词、移除内联引文标记，并丢弃页码、标题、URL、字母间隔标题以及重复的页眉或页脚。清理后的页面存储在本地 SQLite 数据库中，并划分为段落候选。

第二阶段在数据库之外使用段落级内容启发式规则。它过滤掉类似扁平表格或列表的候选、URL 或电子邮件密集的片段、机构信息块、数学密集段落以及跨页面片段。我们有意将这两个阶段分开：机械清理提供源文档的稳定表示，而启发式阈值可以在不重新提取 PDF 的情况下修改并重新运行。流水线不会修复严重损坏的段落，而是直接忽略它们，从而让适配器的容量专注于连贯的散文。

### 3.3 多家族 AI 影子构建

有监督的风格适配需要成对的机器风格输入和用户撰写目标。然而，自然对齐的对是很少的。InMyStyle 通过自动对用户的段落进行释义来生成输入端，同时保持目标端不变。使用了来自不同模型家族的三个本地执行的辅助模型：Qwen2.5-3B、Llama-3.2-3B 和 Phi-3-mini[14 (https://arxiv.org/html/2607.29238#bib.bib20),5 (https://arxiv.org/html/2607.29238#bib.bib7),1 (https://arxiv.org/html/2607.29238#bib.bib1)]；每个模型对所有保留段落各释义一次。共同的辅助指令是提供保持语义的改写，并抑制解释、标记和前言。输出随后经过清理，以移除任何残留的引入语、元数据、引号围栏和重复 token 失败。每个辅助改写的生成预算随源段落的长度变化，而不是每次输入都使用相同的固定配额。

使用多个辅助家族增加了训练期间所见机器句式的多样性。如果只使用一个辅助模型，学习到的转换可能会偏向该模型特有的词汇和结构模式。我们还进一步使用了两个随机破坏算子。以概率 \(0.5\)，一个 AI 痕迹算子会将常见词替换为更刻板的机器风格替代词，例如将 *use* 替换为 *utilize*，或插入公式化的框架表达。以概率 \(0.3\)，一个轻微噪声算子会丢弃少量单词，偶尔还会对单个字符进行换位。因此，

\(x_{ik}=C\left(h_{k}(y_{i})\right),\) (2)

其中 \(C\) 表示可选的 AI 痕迹运算符和噪声运算符的复合。每个对的段落标识符、辅助模型身份、应用的破坏操作以及输入和目标语句都作为来源信息被保留。

### 3.4 防泄漏数据集构建

每个原始段落会产生多行具有相同目标的行。随机的行级划分会导致目标文本泄漏：\(y_{i}\) 的一个辅助变体可能被放入训练集，而同一个 \(y_{i}\) 的另一个变体则被放入评估集。InMyStyle 相反地对源段落标识符集合进行分区，并将属于同一标识符的所有变体分配到同一分区。设 \(\mathcal{D}_{\mathrm{train}}\) 和 \(\mathcal{D}_{\mathrm{eval}}\) 分别表示由此产生的训练和评估分区。因此，

\(\{i:(x_{ik},y_{i})\in\mathcal{D}_{\mathrm{train}}\}\cap\{i:(x_{ik},y_{i})\in\mathcal{D}_{\mathrm{eval}}\}=\varnothing.\) (3)

这种分组划分评估的是对未见过的源段落的迁移能力，而不是通过另一个辅助模型观察到同一目标的记忆。每个保留的对都存储为一个两轮对话：\(x_{ik}\) 占据用户轮，\(y_{i}\) 占据助手轮。不添加系统轮。

### 3.5 用户特定 LoRA 适配

对于参数为 \(\theta\) 的预训练模型，InMyStyle 冻结基础权重，并将 LoRA 更新插入其线性层[8 (https://arxiv.org/html/2607.29238#bib.bib10)]。对于权重矩阵 \(W\)，适配后的变换为

\(W^{\prime}=W+\frac{\alpha}{r}BA,\) (4)

其中 \(A\) 和 \(B\) 是可训练的低秩矩阵，\(r\) 是适配器秩，\(\alpha\) 控制更新尺度。只有这些适配器参数被优化并存储给用户。同一训练接口支持常规 LoRA 和 4 位 QLoRA[2 (https://arxiv.org/html/2607.29238#bib.bib4)]，因此可以在受支持的硬件上冻结基础权重的同时减少内存使用。

模型使用仅响应损失进行训练。输入 token 作为条件上下文包含在内，但从损失目标中屏蔽；交叉熵仅计算在用户书写的助手响应上：

\(\mathcal{L}(\phi_{u})=-\sum_{(x,y)\in\mathcal{D}_{\mathrm{train}}}\sum_{t=1}^{|y|}\log p_{\theta,\phi_{u}}\!\left(y_{t}\mid x,y_{<t}\right).\) (5)

此处，\(x\) 是 AI 影子输入，\(y\) 是用户撰写的目标，\(t\) 索引目标 token，\(|y|\) 是目标长度，\(y_{<t}\) 是目标中位置 \(t\) 之前的 token。记号 \(p_{\theta,\phi_{u}}\) 是由冻结的基础参数 \(\theta\) 和用户特定的适配器参数 \(\phi_{u}\) 定义的下一个 token 分布。

这种屏蔽至关重要，因为输入是故意机器编辑的，并且可能遭受进一步的破坏。将输入 token 包含在损失目标中会训练适配器对其要转换的同一机器风格文本进行建模。因此，对于每个 AI 影子-用户原始对，损失仅在用户撰写的目标 token 上计算，AI 影子 token 仅作为条件上下文。模型规模、适配器几何结构、优化设置和硬件特定的量化配置在实验设置部分中描述。

### 3.6 无提示改写

推理时，加载所选用户的基础模型和适配器。输入段落直接提供给 tokenizer 的用户轮，生成从助手轮开始。系统不提供任何风格标签、改写指令、目标示例或检索上下文。默认使用贪心解码，因为它提供确定性的段落改写。采样是一个可选的替代方案，会单独评估。

生成由长度感知的 token 预算引导。对于包含 \(w\) 个单词的输入片段，预算为 \(1.5w\)