论文页面 - 在LLM个性化中重新以人为中心

Source: https://huggingface.co/papers/2606.06614 个性化正成为LLM系统的核心承诺：聊天机器人记住你的工作、兴趣、偏好和过去的对话，以定制回复。但“个性化”并不总是有帮助——它也可能让人感到不舒服、冒犯，或只是不必要。

这引发了一个基本但令人惊讶地未充分检验的问题：谁来决定个性化是否真正有帮助——是模型，还是被个性化的人？

大多数现有基准严重依赖合成角色、模拟对话和LLM评判者。在这项工作中，我们将真实人类重新纳入循环。

我们将个性化研究为一个三阶段流水线：

🧠 属性提取 — 系统应从对话历史中推断出什么？
🎯 相关性匹配 — 哪些属性对当前请求真正重要？
✍️ 回复生成 — 个性化是否改善了用户体验？

通过550次真实用户对话和近19,000个人类判断，我们在每个阶段都发现了系统性的“人类-LLM”差距：

• 模型从真实对话中提取出有噪声且过度泛化的属性。合成数据低估了这一难度。
• LLM和人类在哪些属性应被用于一个新问题上存在分歧(κ=0.30)，但各自群体内部一致性良好(κ=0.60和0.43)。
• LLM选择的属性数量是人类认为相关的2–3倍，表明存在过度个性化的倾向。
• 即使使用人类选择的相关属性，54.6%的个性化回复被人类判定为并不比通用回复更好。
• LLM评判者常常高估个性化质量，有时会奖励仅表面提及属性（而人类认为无用的）的回复。

我们还发现，轻量级训练能显著改善属性验证和相关性匹配。但回复级别的个性化仍然困难得多，很可能因为“好的个性化”本质上是因人而异的。

我们的结论很简单：合成用户和LLM评判者不足以捕捉人类偏好的复杂本质。我们强调人类数据的重要性，并呼吁在LLM个性化中重新以人为中心。