data-mediation

本文通过数据中心的视角探究LLM中的涌现和潜意识失调，表明有害微调效果取决于数据的结构特性、任务难度、预训练组成和训练通道，并通过实验比较了离策略和在线策略蒸馏。