标签
本文识别出'Preference Coverage Collapse'作为多目标强化学习后见重标注中的一种失败模式，并引入'her_mix'来缓解该问题，从而在各种设置下提升性能。
本文识别了个性化多模态大语言模型中的群体偏好坍塌问题，并提出了 PrefMoE，一种以偏好为中心的框架，该框架将个人资料信息与偏好分离，以改进个性化并减少坍塌。