标签
该论文通过受控实验研究了不同意见混合比例的后训练语料如何在SFT、DPO和GRPO等五种后训练路径中放大LLM的价值偏好失衡，并发现这些偏好可通过蒸馏传递给学生模型，建议在开发和评估LLM时应同时考虑语料意见构成与后训练方法的选择。