论文页面 - 数据稀缺条件下的 LLM 协作式个性化偏好对齐

来源：https://huggingface.co/papers/2610.05898

摘要

真实世界中的用户往往对 LLM 的回复在多个目标上表现出高度异质的偏好。轻量级对齐器可以将这些回复适配到个人偏好，但用户专属反馈的稀缺使得个性化训练十分困难。在用户之间学习共享的初始化可以支持少样本适配。然而，异质偏好和相互竞争的目标会导致跨用户以及每个用户内部的梯度冲突，阻碍有效的初始化学习。这引出了一个核心问题：我们如何通过协作方式学习对齐器的初始化，以支持对多样化用户偏好的少样本适配？为回答这一问题，我们提出了近似帕累托最优（Approximate Pareto Optimality，APO）。我们首先将更新相互兼容的用户进行分组，使他们的信息可以在更少干扰的情况下进行组合。在每组内部，我们将梯度下降与受控的上升相结合，以协调相互竞争的目标，并向帕累托前沿上特定偏好的点移动。由此产生的初始化接近该组中各用户的最优解。随后，我们利用少样本本地适配的更新对其进行迭代精炼，使其更适合个性化。此外，我们为单步本地协作更新建立了条件次优界，并刻画了初始化误差如何影响后续的随机适配过程。在 Fed-Chatbot Arena 和 UltraFeedback 上的实验表明，仅使用 20 个本地样本，本方法在性能上相较于现有方法持续取得提升。

查看 arXiv 页面 (https://arxiv.org/abs/2610.05898) 查看 PDF (https://arxiv.org/pdf/2610.05898) 添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2610.05898)

在你的代理中获取该论文：

hf papers read 2610.05898

没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用该论文的模型：0

暂无模型关联该论文

在模型 README.md 中引用 arxiv.org/abs/2610.05898，即可在此页面建立关联。

引用该论文的数据集：0

暂无数据集关联该论文

在数据集 README.md 中引用 arxiv.org/abs/2610.05898，即可在此页面建立关联。

引用该论文的 Spaces：0

暂无 Space 关联该论文

在 Space README.md 中引用 arxiv.org/abs/2610.05898，即可在此页面建立关联。

包含该论文的收藏夹：0

暂无收藏夹包含该论文

将该论文添加到收藏夹 (https://huggingface.co/new-collection) 即可在此页面建立关联。