解码阶段间歇性注入随机 token 可在无需微调的情况下提升 LLM 多样性

哈佛大学（Luo, King, Puett, Smith）发表的一篇新论文提出了 Recoding-Decoding (RD)，这是一种解码方案，通过在解码阶段注入引导短语和偏转 token，将 LLM 知识中的长尾部分提取到实际输出中。RD 的工作原理：作者指出，现代 LLM 编码了海量的人类知识，但标准解码方法（如 top-k、nucleus 等）仅从条件分布的峰值区域采样。而长尾部分——那些非正统、反主流、非西方视角或看似奇怪但相关的内容——却处于闲置状态。RD 通过以下方式将模型从其常规路径上“带偏”：1) 在开头添加随机的“引导短语”（例如 **Related to FOOD:**、**Related to SKY:**） 2) 在每个新句子的开头注入一个随机的 3 字母“偏转词根”（如 Pas, Tib, Mon 等）。例如，提示 "Brainstorm a world history topic" 现在可能会生成 "[Pas]ta and the silk road" 或 "[Tib]etan sky burials"，因为模型吸收了注入的 [Pas] 和 [Tib] token，而不是输出占主导地位的答案 "Age of Enlightenment"。研究团队在 50 个头脑风暴主题和来自 5 个公开数据集的 500 条提示上进行测试，发现内容相关性始终保持在 0.99 左右，而多样性在多达 1,000 次运行中几乎呈线性增长。他们还发现，LLM 能力越强（Gemini-3 > GPT-5.1 > GPT-3.5 > DeepSeek-3），RD 带来的优势就越大——因为能力更强的模型分布峰值更尖锐，因而隐藏了更多的长尾知识。为何重要：作者将此定义为“搜索探索（search quest）”问题——比如挑选婚纱、确定研究课题、构思初创公司名称或为孩子择校。这类任务的目标并非寻找唯一正确答案，而是探索可能性空间。当前的 LLM 在这方面实际上是“反向优化”的，论文指出这正在悄然导致集体同质化（他们引用了一个典型案例：使用 ChatGPT 撰写论文大纲的学生，在彼此毫无交流的情况下，交出了论点几乎完全相同的作业）。📄 论文：[https://arxiv.org/abs/2603.19519](https://arxiv.org/abs/2603.19519)