llm-theory

本文提出了一个基于自由能视角的框架，以区分大型语言模型后训练中的能力激发与能力创造，论证指出监督微调（SFT）和强化学习（RL）通常是对现有行为进行重新加权，而非创造新行为。