llm-diversity

本文诊断了LLM生成故事的低多样性问题，发现88.3%的采样故事包含11个常见词汇之一（例如埃利亚斯、灯塔），且这些词汇在不同模型间普遍存在，并将这种同质性归因于后训练数据和对齐，而非预训练数据中的普遍存在。

哈佛大学的一篇研究论文提出了 Recoding-Decoding (RD)，这是一种新型解码方案，通过注入随机引导短语和偏转 token 来挖掘 LLM 的长尾知识，在无需微调的情况下显著提升输出多样性。该方法在保持高相关性的同时缓解了回复同质化问题，且模型能力越强，多样性提升越明显。