追溯大语言模型“垃圾文风”在模型和训练中的来源，并将其消除 [R]

我想找出模型中那种辨识度很高的助手文风（破折号、“不是 X，而是 Y”、三项式列举、流行术语）存在于哪里，以及是哪个训练阶段赋予了它这种风格。它存在于哪里：在 Qwen3-4B-Instruct 中，用模型自身生成的夸张文风与朴素文风文本之间的均值差得到的方向，能够区分 64 组手写的最小对照文本。该方向与常规输出中基于套路表达计算的 AI 味评分的相关系数最高达 0.82。Logit lens 读出结果显示，这是一条语体轴（一端是宏大、抽象的词汇，另一端是“really”“basically”“stuff”等朴素的模糊表达），而且针对不同套路的方向具有跨语言效应：“not X, but Y”会提升中文“而是”的出现概率。它从何而来：基础模型中也存在相同的方向（中间层的余弦相似度为 0.90 至 0.97），但其写作风格接近朴素的一端。对 OLMo 2 1B 各个已发布训练阶段的测量表明，SFT 引入了这些修辞结构，而 DPO 则通过流行术语和 Markdown 格式使 AI 味评分翻倍。对 OLMo 的偏好数据进行评分后发现，在 3,000 组回答对中，有 57% 的获选回答是 AI 味更重的那个。如何去除它：方向消融反而使 AI 味最多增加 89%，因为干净文本在这条轴上的投影为负。在第 12 至 23 层减去固定向量，能够在较小的 KL 散度预算内起效（在人类文本上约为 0.4 纳特/词元），并减少禁用词元无法触及的结构性套路。将其蒸馏为秩为 16 的 LoRA 后，无需系统提示词即可将 AI 味评分降低 83%，KL 散度低于直接进行向量干预，而且在一项小规模问答检查中没有性能下降。局限：AI 味评分器是我自己编写的正则表达式检测器，主要结果来自一个 4B 模型和 OLMo 2 1B，且尚未进行人工评估。Antislop（Paech 等，2025）在词元层面处理 AI 味问题；这项工作则在表征层面与之互补。附有交互式图表的文章：https://100toolkit.com/blog/where-ai-slop-comes-from/