preference-optimization

标签

Cards List
#preference-optimization

VEPO:通过视觉证据引导的偏好优化缓解大型视觉语言模型中的多语言幻觉

arXiv cs.CL ↗ · 17小时前 缓存

该论文提出了 VEPO,这是一种在训练阶段利用视觉证据引导的偏好优化方法,无需借助外部模型,即可将英语中的视觉定位能力迁移到低资源语言,从而减少大型视觉语言模型中的多语言物体幻觉。

0 人收藏 0 人点赞
#preference-optimization

ECHO:涌现的共模隐藏偏移驱动偏好优化中的词汇坍缩

arXiv cs.CL ↗ · 2026-10-22 缓存

本文发现,“共模隐藏偏移”——偏好优化过程中隐藏状态沿共同方向发生的偏移——是词汇阱形成和生成坍塌背后的机制,并表明这一现象存在于17个模型谱系中,同时提供了一种表征层面的早期预警信号,用于揭示排序指标的盲区。

0 人收藏 0 人点赞
#preference-optimization

通过偏好优化教会AI智能体进行策略性扑克博弈

arXiv cs.AI ↗ · 2026-10-21 缓存

本文提出SPOKE——一种基于KL锚定均衡的策略偏好优化方法,用于训练基于紧凑型LLM的智能体(SmallThinker-4B)在隐藏信息环境下进行更具策略性的扑克博弈。在Kuhn扑克和Leduc扑克实验中,该方法的可利用性低于SFT、DPO、GRPO和GSPO。

0 人收藏 0 人点赞
#preference-optimization

使用用户的语言变体作答:用于后训练的校准式语言顺应配对

Hugging Face Daily Papers ↗ · 2026-10-20 缓存

本文介绍了校准式语言顺应对(CAP),这是一种偏好数据集,旨在奖励聊天模型在保留标准英语的同时匹配用户方言,并考察了在 10 个开放模型谱系中,SFT、DPO 和 RL 阶段如何改变模型顺应非正式方言线索的倾向。

0 人收藏 0 人点赞
#preference-optimization

PsyMemBehav:心理学引导、记忆支撑的双层身份到行动推理,用于社交媒体行为模拟

arXiv cs.AI ↗ · 2026-10-15 缓存

提出了PsyMemBehav,一种基于心理学画像与记忆检索的两级身份到动作推理框架,用于模拟社交媒体用户行为,并构建了涵盖5,862名真实用户、557万条行为的基准数据集,实验显示其27B模型在多数个体级指标上超越GPT-5.4。

0 人收藏 0 人点赞
#preference-optimization

DeLoop:以重复动作为长程智能体提供自监督

Hugging Face Daily Papers ↗ · 2026-10-14 缓存

DeLoop 是一种自监督偏好优化方法,通过将智能体自身的 rollout(执行轨迹)用作训练对,减少长时程语言模型智能体中重复的工具调用循环。在上下文压缩条件下,该方法将出现循环的任务比例从 57.3% 降至 6.1%,并提高了较大规模模型的任务成功率。

0 人收藏 0 人点赞
#preference-optimization

面向SUD患者对话生成的多目标对齐小语言模型框架

arXiv cs.CL ↗ · 2026-10-08 缓存

该论文提出一个多目标对齐的小语言模型框架,用于生成物质使用障碍(SUD)咨询中的患者对话,结合知识蒸馏、人类标注偏好优化和注意力引导的奖励塑形,以提升认知一致性与临床真实性。

0 人收藏 0 人点赞
#preference-optimization

通过多元偏好优化缓解社交谄媚

arXiv cs.AI ↗ · 2026-10-05 缓存

论文提出了多元偏好优化(PlurPO),这是一种后训练方法:让语言模型在人际冲突中模拟多个利益相关方,并训练其偏好对所有相关方都可接受的回答。该方法在四个模型家族中显著减少了社交谄媚现象,且无需依赖真实标签。

0 人收藏 0 人点赞
#preference-optimization

面向个性化偏好优化的梯度对齐偏好对选择

arXiv cs.AI ↗ · 2026-10-02 缓存

本文将个性化偏好学习形式化为一种几何对齐的优化问题,并提出了一种迭代算法 GAP-DPO,该算法在效用感知的基础上进行梯度对齐的偏好对选择,相比标准 DPO 变体,在风格保真度和偏好对齐方面均表现出提升。

0 人收藏 0 人点赞
#preference-optimization

通过组合偏好奖励与评分标准奖励对前沿文生图模型进行后训练

Hugging Face Daily Papers ↗ · 2026-10-02

本文提出一种通过组合偏好奖励(Bradley-Terry目标)与基于评分标准(rubric)的奖励来对前沿文生图模型进行后训练的方法,避免简单加权平均导致的次优优化。在Arena文生图排行榜上,经RL训练的Flux2dev比基线Elo高69分,后训练的Ideogram-4以1223.5的Elo超越所有开源模型,并发布Arena-T2I-Training 1K训练数据子集以支持可复现研究。

0 人收藏 0 人点赞
#preference-optimization

MetaSteer:通过注意力投影适配实现基于上下文条件的非线性引导

arXiv cs.CL ↗ · 2026-10-01 缓存

论文提出了MetaSteer方法,该方法学习应用于大语言模型(LLM)注意力投影矩阵的非线性、依赖上下文的干预,在合并的偏好数据上一次性训练后,可零样本迁移至未见过的概念和智能体场景,其效果达到或超越针对特定任务的引导基线。

0 人收藏 0 人点赞
#preference-optimization

BiasReducer:奖励模型的自适应偏差缓解方法

Hugging Face Daily Papers ↗ · 2026-09-26 缓存

BiasReducer 是一个轻量级框架,仅编辑奖励模型的线性奖励头,自适应地缓解模型对响应长度和自信度等表面属性的偏好。该框架采用类稀疏自编码器的编码器,按数据集检测并排序相关偏差。在五个奖励模型上,它平均将三项基准指标提升 8.3、18.0 和 6.9 个百分点,优于基于训练的基线方法,并降低了下游的冗长性和谄媚问题。

0 人收藏 0 人点赞
#preference-optimization

哪些目标需要调节?在可转向多元对齐中预测目标冲突与涵盖权衡

arXiv cs.AI ↗ · 2026-09-24 缓存

本文探讨了在可转向多元对齐中,如何利用多目标直接偏好优化(MODPO)来预测目标冲突并涵盖权衡,研究发现预训练测量能够预测人类标注数据的对齐,并提出了更广泛涵盖权衡的方法。

0 人收藏 0 人点赞
#preference-optimization

DiaWhisper-DPO:通过失败挖掘的偏好优化实现临床访谈的角色归因转录

arXiv cs.CL ↗ · 2026-09-16 缓存

本文提出DiaWhisper-DPO,一个用于临床访谈转录和角色归因的端到端模型,采用失败挖掘的偏好优化,相比级联基线实现高准确度并减少错误。

0 人收藏 0 人点赞
#preference-optimization

Style-Debiased DPO:使用事实感知合成偏好数据更新大型语言模型知识

arXiv cs.CL ↗ · 2026-09-16 缓存

本文提出了Style-Debiased DPO (SD-DPO),一种用于事实感知合成偏好数据的方法,旨在改善大型语言模型中的知识提取,解决标准DPO可能因风格差异而错误惩罚正确回答的问题。

0 人收藏 0 人点赞
#preference-optimization

StalePO:利用传统后编辑的机器翻译锚定令牌级偏好优化

arXiv cs.CL ↗ · 2026-09-16 缓存

StalePO引入了一种用于机器翻译的令牌级偏好优化方法,该方法利用传统后编辑来提升模型性能,在质量指标上显示出显著提升。

0 人收藏 0 人点赞
#preference-optimization

LLM 偏好对齐的零阶范式

Hugging Face Daily Papers ↗ · 2026-09-16 缓存

本文提出基于比较的偏好优化(ComPO),一种用于LLM的零阶对齐方法,利用比较预言机来避免似然位移。它包括理论保证和对现有方法的实验改进。

0 人收藏 0 人点赞
#preference-optimization

何时与何事教学:面向网络代理的预算感知在线适应

arXiv cs.AI ↗ · 2026-09-10 缓存

本文提出了一种面向网络代理的预算感知在线教学框架,能够在保持性能的同时降低教师模型调用和计算成本。

0 人收藏 0 人点赞
#preference-optimization

偏好后训练中多样成功轨迹的直接多样性优化

arXiv cs.CL ↗ · 2026-09-10 缓存

直接多样性优化(DDO)是一种离线后训练方法,它改进了用于序贯决策任务的大语言模型(LLM)代理的成功策略覆盖,并在基准测试(如BabyAI、BabaIsAI和WebShop)中优于其他方法。

0 人收藏 0 人点赞
#preference-optimization

@Memoirs: Sycophantic Agreement Transfers with Neutral Data via Contrastive Preference Optimization Camila Blank, Zhuofan Ying, C…

X AI KOLs Following ↗ · 2026-09-04 缓存

Research from Stanford and Columbia shows that sycophantic agreement can emerge as an unintended consequence of contrastive preference optimization objectives, with teacher model bias transferring to student models even when preference data appears neutral across the dataset.

0 人收藏 0 人点赞
Next →
← 返回首页

提交意见反馈