preference-optimization

标签

Cards List
#preference-optimization

基于区域感知的双模态直接偏好优化的组合式文本到图像生成

Hugging Face Daily Papers ↗ · 2026-05-27 缓存

本文介绍了BiDPO,这是一个通过基于偏好的微调和区域级引导来增强文本到图像模型处理复杂组合提示的框架,在组合保真度基准上达到了最先进的性能。

0 人收藏 0 人点赞
#preference-optimization

WeCon: 一种高效的多目标组合优化问题权重条件神经求解器

arXiv cs.LG ↗ · 2026-05-25 缓存

介绍WeCon,一种用于多目标组合优化问题的权重条件神经求解器,其超体积与现有最优方法相当,同时推理时间减少40%。

0 人收藏 0 人点赞
#preference-optimization

DPO与RLHF的条件等价性:隐含假设、失败模式与可证明的对齐

arXiv cs.AI ↗ · 2026-05-22 缓存

本文证明了直接偏好优化(DPO)与基于人类反馈的强化学习(RLHF)之间的等价性是有条件的,并且在实践中经常被违反,揭示了DPO优化相对优势而非绝对对齐的失败模式。作者引入了约束偏好优化(CPO)以实现可证明的对齐,并展示了最先进的性能。

0 人收藏 0 人点赞
#preference-optimization

基于注意力机制的Token加权直接偏好优化

arXiv cs.CL ↗ · 2026-05-22 缓存

提出AttentionPO,一种基于Token加权的直接偏好优化方法,它利用LLM自身的注意力来估计Token权重,在AlpacaEval、MT-Bench和ArenaHard上提升对齐性能,且无需单独奖励模型。

0 人收藏 0 人点赞
#preference-optimization

通过语法引导和语义感知偏好优化改进代码翻译

arXiv cs.AI ↗ · 2026-05-14 缓存

本文提出CTO方法,通过对比学习和直接偏好优化结合语法引导与语义感知偏好优化来改进代码翻译,在C++、Java和Python翻译中显著优于现有基线。

0 人收藏 0 人点赞
#preference-optimization

偏好优化中的虚假相关性学习:机制、后果及通过平局训练的缓解方法

arXiv cs.LG ↗ · 2026-05-13 缓存

本文分析了诸如直接偏好优化(DPO)等偏好优化方法中的虚假相关性学习,确定了平均虚假偏差和因果-虚假泄漏等机制。本文提出了使用效用相等的偏好对进行“平局训练”作为一种缓解策略,以减少对虚假特征的依赖,同时不降低因果学习效果。

0 人收藏 0 人点赞
#preference-optimization

YFPO:基于神经元引导奖励的耦合特征偏好优化在数学推理中的初步研究

arXiv cs.CL ↗ · 2026-05-13 缓存

本文介绍了 YFPO,这是一种神经元引导的偏好优化框架,利用内部激活信号来提高大型语言模型在数学推理方面的能力。

0 人收藏 0 人点赞
#preference-optimization

通过偏好对齐优化增强多语言反事实生成

arXiv cs.CL ↗ · 2026-05-13 缓存

本文介绍了 Macro,一种使用 DPO 进行偏好对齐的框架,旨在提高跨多种语言自我生成反事实解释的有效性和最小性。

0 人收藏 0 人点赞
#preference-optimization

StoicLLM:小语言模型中基于哲学对齐的偏好优化

arXiv cs.CL ↗ · 2026-05-13 缓存

本研究探讨了在Llama-3.2-3B和Qwen-3-4B等小型语言模型上使用偏好优化方法(ORPO、AlphaPO),通过微小数据集使其与斯多葛哲学对齐。研究发现,尽管300个样本可以有效编码斯多葛美德,但小型模型在处理外向型的宇宙公民义务时仍面临困难。

0 人收藏 0 人点赞
#preference-optimization

拓扑增强的大语言模型对齐:轨迹拓扑损失与拓扑偏好优化

arXiv cs.CL ↗ · 2026-05-11 缓存

本文介绍了一种用于大语言模型的拓扑增强对齐框架,利用基于持续同调的轨迹拓扑损失和拓扑偏好优化,对隐藏空间中的语义轨迹进行正则化。

0 人收藏 0 人点赞
#preference-optimization

基于噪声追踪对的整流流离线偏好优化

Hugging Face Daily Papers ↗ · 2026-05-10 缓存

本文介绍了PNAPO,一种针对整流流模型的离线偏好优化框架,该框架通过噪声样本增强偏好数据,并采用动态正则化来提高训练效率和样本效率。

0 人收藏 0 人点赞
#preference-optimization

FSPO:少样本合成偏好优化实现面向真实用户的个性化

arXiv cs.CL ↗ · 2026-04-20 缓存

FSPO提出了一种用于大语言模型个性化的少样本偏好优化算法,该算法将奖励建模重新定义为元学习,使模型能够从有限的用户偏好中快速推断出个性化的奖励函数。该方法通过精心构建合成偏好数据集,在合成用户上实现了87%的个性化性能,在真实用户上实现了70%的个性化性能。

0 人收藏 0 人点赞
#preference-optimization

CLewR:用于机器翻译偏好学习的课程学习与重启策略

arXiv cs.CL ↗ · 2026-04-20 缓存

CLewR引入了一种带重启的课程学习策略,用于通过偏好优化改进LLM的机器翻译性能。该方法通过多次迭代简易到困难的课程来解决灾难性遗忘问题,在Gemma2、Qwen2.5和Llama3.1模型上展现了一致的性能提升。

0 人收藏 0 人点赞
#preference-optimization

CiPO:通过迭代偏好优化实现大型推理模型的反事实遗忘

arXiv cs.CL ↗ · 2026-04-20 缓存

CiPO是一种新颖的机器遗忘框架,用于大型推理模型,它利用迭代偏好优化和反事实推理轨迹,在保持推理能力的同时选择性移除不想要的知识。该方法通过生成逻辑上有效的替代推理路径,解决了依赖于链式思维推理的模型中的遗忘挑战。

0 人收藏 0 人点赞
#preference-optimization

GroupDPO:内存高效的分组直接偏好优化

arXiv cs.CL ↗ · 2026-04-20 缓存

GroupDPO 引入了一种内存高效的分组直接偏好优化算法,该算法利用每个提示的多个候选响应,通过解耦反向传播来减少峰值内存使用。该方法在离线和在线对齐设置中均展现出相比标准 DPO 的持续改进。

0 人收藏 0 人点赞
#preference-optimization

WavAlign:通过自适应混合后训练提升口语对话模型的智能与表现力

Hugging Face Daily Papers ↗ · 2026-04-16 缓存

WavAlign 提出一种模态感知的自适应后训练方法,利用受限偏好更新与显式锚定,在端到端口语对话模型中同步提升语义质量与语音表现力。

0 人收藏 0 人点赞
← Previous
← 返回首页

提交意见反馈