free-energy-principle

本文提出PUMA，一个用于多轮对话中LLM个性化的框架，该框架建模潜在用户状态，并利用自由能原理选择对话行为，在医疗咨询基准测试中提升了长程对话效果。

本文提出了一个基于自由能视角的框架，以区分大型语言模型后训练中的能力激发与能力创造，论证指出监督微调（SFT）和强化学习（RL）通常是对现有行为进行重新加权，而非创造新行为。