preference-alignment

本文介绍了Spectral Souping，这是一种通过发现通用谱表示来高效对齐LLM与个体用户偏好的框架，该表示能在推理时合并专门策略，无需昂贵的重新训练。

本文介绍了隐式偏好对齐（IPA），这是一种数据高效的训练后框架，可在无需成对偏好数据的情况下改善人类图像动画中的手部动作生成。它利用隐式奖励最大化和手部感知的局部优化来提高生成质量，同时降低数据整理成本。