标签
该论文提出了 VEPO,这是一种在训练阶段利用视觉证据引导的偏好优化方法,无需借助外部模型,即可将英语中的视觉定位能力迁移到低资源语言,从而减少大型视觉语言模型中的多语言物体幻觉。
本文发现,“共模隐藏偏移”——偏好优化过程中隐藏状态沿共同方向发生的偏移——是词汇阱形成和生成坍塌背后的机制,并表明这一现象存在于17个模型谱系中,同时提供了一种表征层面的早期预警信号,用于揭示排序指标的盲区。
本文提出SPOKE——一种基于KL锚定均衡的策略偏好优化方法,用于训练基于紧凑型LLM的智能体(SmallThinker-4B)在隐藏信息环境下进行更具策略性的扑克博弈。在Kuhn扑克和Leduc扑克实验中,该方法的可利用性低于SFT、DPO、GRPO和GSPO。
本文介绍了校准式语言顺应对(CAP),这是一种偏好数据集,旨在奖励聊天模型在保留标准英语的同时匹配用户方言,并考察了在 10 个开放模型谱系中,SFT、DPO 和 RL 阶段如何改变模型顺应非正式方言线索的倾向。
提出了PsyMemBehav,一种基于心理学画像与记忆检索的两级身份到动作推理框架,用于模拟社交媒体用户行为,并构建了涵盖5,862名真实用户、557万条行为的基准数据集,实验显示其27B模型在多数个体级指标上超越GPT-5.4。
DeLoop 是一种自监督偏好优化方法,通过将智能体自身的 rollout(执行轨迹)用作训练对,减少长时程语言模型智能体中重复的工具调用循环。在上下文压缩条件下,该方法将出现循环的任务比例从 57.3% 降至 6.1%,并提高了较大规模模型的任务成功率。
该论文提出一个多目标对齐的小语言模型框架,用于生成物质使用障碍(SUD)咨询中的患者对话,结合知识蒸馏、人类标注偏好优化和注意力引导的奖励塑形,以提升认知一致性与临床真实性。
论文提出了多元偏好优化(PlurPO),这是一种后训练方法:让语言模型在人际冲突中模拟多个利益相关方,并训练其偏好对所有相关方都可接受的回答。该方法在四个模型家族中显著减少了社交谄媚现象,且无需依赖真实标签。
本文将个性化偏好学习形式化为一种几何对齐的优化问题,并提出了一种迭代算法 GAP-DPO,该算法在效用感知的基础上进行梯度对齐的偏好对选择,相比标准 DPO 变体,在风格保真度和偏好对齐方面均表现出提升。
本文提出一种通过组合偏好奖励(Bradley-Terry目标)与基于评分标准(rubric)的奖励来对前沿文生图模型进行后训练的方法,避免简单加权平均导致的次优优化。在Arena文生图排行榜上,经RL训练的Flux2dev比基线Elo高69分,后训练的Ideogram-4以1223.5的Elo超越所有开源模型,并发布Arena-T2I-Training 1K训练数据子集以支持可复现研究。
论文提出了MetaSteer方法,该方法学习应用于大语言模型(LLM)注意力投影矩阵的非线性、依赖上下文的干预,在合并的偏好数据上一次性训练后,可零样本迁移至未见过的概念和智能体场景,其效果达到或超越针对特定任务的引导基线。
BiasReducer 是一个轻量级框架,仅编辑奖励模型的线性奖励头,自适应地缓解模型对响应长度和自信度等表面属性的偏好。该框架采用类稀疏自编码器的编码器,按数据集检测并排序相关偏差。在五个奖励模型上,它平均将三项基准指标提升 8.3、18.0 和 6.9 个百分点,优于基于训练的基线方法,并降低了下游的冗长性和谄媚问题。
本文探讨了在可转向多元对齐中,如何利用多目标直接偏好优化(MODPO)来预测目标冲突并涵盖权衡,研究发现预训练测量能够预测人类标注数据的对齐,并提出了更广泛涵盖权衡的方法。
本文提出DiaWhisper-DPO,一个用于临床访谈转录和角色归因的端到端模型,采用失败挖掘的偏好优化,相比级联基线实现高准确度并减少错误。
本文提出了Style-Debiased DPO (SD-DPO),一种用于事实感知合成偏好数据的方法,旨在改善大型语言模型中的知识提取,解决标准DPO可能因风格差异而错误惩罚正确回答的问题。
StalePO引入了一种用于机器翻译的令牌级偏好优化方法,该方法利用传统后编辑来提升模型性能,在质量指标上显示出显著提升。
本文提出基于比较的偏好优化(ComPO),一种用于LLM的零阶对齐方法,利用比较预言机来避免似然位移。它包括理论保证和对现有方法的实验改进。
本文提出了一种面向网络代理的预算感知在线教学框架,能够在保持性能的同时降低教师模型调用和计算成本。
直接多样性优化(DDO)是一种离线后训练方法,它改进了用于序贯决策任务的大语言模型(LLM)代理的成功策略覆盖,并在基准测试(如BabyAI、BabaIsAI和WebShop)中优于其他方法。
Research from Stanford and Columbia shows that sycophantic agreement can emerge as an unintended consequence of contrastive preference optimization objectives, with teacher model bias transferring to student models even when preference data appears neutral across the dataset.