preference-optimization

标签

Cards List
#preference-optimization

FiMI Banking: 印度零售银行的自主模型

arXiv cs.AI ↗ · 2026-09-04 缓存

本文介绍了FiMI Banking,这是一个用于印度零售银行的自主对话AI模型,通过偏好优化和强化学习训练,以在监管约束内增强安全行为和工具使用性能。

0 人收藏 0 人点赞
#preference-optimization

CoMerge:基于冲突驱动的偏好优化方法用于多任务模型合并

arXiv cs.AI ↗ · 2026-09-03 缓存

CoMerge是一个基于冲突驱动的偏好优化框架,用于合并多任务LLMs,采用自监督策略来减轻参数干扰,并在如MergeBench等基准测试中实现高性能。

0 人收藏 0 人点赞
#preference-optimization

PLC-DPO:在噪声和模糊偏好优化中的后验标签校正

Hugging Face Daily Papers ↗ · 2026-08-31 缓存

PLC-DPO通过使用策略参考边际将噪声偏好标签路由到干净、翻转或平局案例中,增强了直接偏好优化,从而在各种基准测试中提高了性能。

0 人收藏 0 人点赞
#preference-optimization

学习Plackett-Luce模型的混合体用于多目标对齐

arXiv cs.LG ↗ · 2026-08-27 缓存

本文提出了MoPLEx算法,用于学习Plackett-Luce模型的混合体以处理AI对齐中的异构偏好,相比基线方法展示了聚类和排序准确率的提升。

0 人收藏 0 人点赞
#preference-optimization

代码偏好优化的函数级执行反馈

arXiv cs.AI ↗ · 2026-08-26 缓存

本文提出Step-KTOder,这是一个用于代码偏好优化的框架,它使用函数级执行反馈与单元测试相结合,在HumanEval+和MBPP+等基准测试上优于仅基于结果的方法(如KTO和DPO)。

0 人收藏 0 人点赞
#preference-optimization

对齐中的语言链:跨语言排序偏好优化

Hugging Face Daily Papers ↗ · 2026-08-24 缓存

跨语言排序偏好优化(CRPO)是一种新框架,通过层级排序优化将英语偏好知识转移到目标语言,从而增强多语言LLM的对齐,并在多种语言中展示出在指令遵循和知识利用方面的性能提升。

0 人收藏 0 人点赞
#preference-optimization

FAR-DPO: 面向环肽设计的可行性感知与稳健直接偏好优化

arXiv cs.LG ↗ · 2026-08-21 缓存

FAR-DPO 是一个可行性感知且稳健的直接偏好优化框架,通过使生成模型与结构和生物物理约束对齐,增强药物发现中的环肽设计,提高 PepGLAD 和 PepFlow 等基准测试的成功率。

0 人收藏 0 人点赞
#preference-optimization

流偏好优化中的流形漂移:奖励黑客攻击的根本原因

arXiv cs.AI ↗ · 2026-08-21 缓存

本文将流形漂移确定为流偏好优化中奖励黑客攻击的根本原因,并介绍了ThermoDPO,一种温度控制的方法,该方法将优化锚定在偏好样本上,以保持数据流形的完整性并提高性能。

0 人收藏 0 人点赞
#preference-optimization

Data-DPO: 用于LLM后训练中目标模型数据选择的直接偏好优化

arXiv cs.LG ↗ · 2026-08-19 缓存

Data-DPO是一种面向目标模型的LLM监督微调数据选择方法,通过单步探测学习数据偏好,并结合质量分数和多样性,在Vision-Flan和LLaVA-CoT数据集上超越了基线方法。

0 人收藏 0 人点赞
#preference-optimization

强化步骤级推理以实现LLM中的有效自我纠正

arXiv cs.CL ↗ · 2026-08-13 缓存

本文介绍了SFS-DPO,一种用于LLM中步骤级自我验证和自我纠正的强化学习两阶段框架,并提出了教师辅助变体SFS-DPO-R。实验表明,在多个LLM上,该方法以更少的训练数据相比先前方法在自我纠正有效性上取得了改进。

0 人收藏 0 人点赞
#preference-optimization

用多智能体视角偏好优化学习性别歧视检测

arXiv cs.CL ↗ · 2026-08-06 缓存

该论文提出了MAP-PO,一个多智能体框架,通过标注行为对标注者进行聚类,并使用偏好优化为每个聚类微调独立的LLM智能体,从而在性别歧视检测任务中保留分歧。在EXIST 2024数据集上的实验表明,聚类特定训练是必要的,且共享的团队级奖励能使智能体保持校准。

0 人收藏 0 人点赞
#preference-optimization

Show HN:在 4 GB 笔记本 GPU 上微调 8B 模型

Hacker News Top ↗ · 2026-08-04 缓存

Soup 是一个开源命令行工具,通过单条命令简化 LLM 的微调和后训练,支持基于 QLoRA 的训练,通过逐层流式传输仅需 4 GB 显存即可在消费级 GPU 上运行。最新版本新增了 DPO、ORPO、SimPO 和 KTO 等偏好损失,且不会使内存需求翻倍。

0 人收藏 0 人点赞
#preference-optimization

顺应阻力:偏好优化的LLM咨询师在动机性访谈中可能以目标坚持换取关系协调

arXiv cs.CL ↗ · 2026-08-03 缓存

本文研究偏好优化如何塑造LLM咨询师在动机性访谈中的行为,发现惩罚对抗行为会以目标坚持为代价换取关系协调,而不是教会平衡的“顺应阻力”技能。

0 人收藏 0 人点赞
#preference-optimization

TELLER: Dual-Path Iterative Preference Optimization for Table Entity Linking

arXiv cs.CL ↗ · 2026-08-03 缓存

Presents TELLER, a dual-path iterative preference optimization approach for table entity linking, with direct-answer and reasoning paths that improve accuracy on TableInstruct and MammoTab V2 benchmarks.

0 人收藏 0 人点赞
#preference-optimization

LARA:残差流中的轻量级适配器,用于可组合的适应与对齐

arXiv cs.LG ↗ · 2026-08-03 缓存

LARA 是一种高效适应方法,它向冻结模型的残差流添加低秩修正,而不是修改权重,在匹配 LoRA 性能的同时实现可组合行为和推理时调控。

0 人收藏 0 人点赞
#preference-optimization

更少数据,更好对齐:数据驱动的多评估者一致性偏好优化

arXiv cs.AI ↗ · 2026-07-29 缓存

本文介绍了DMAPO,一种偏好优化方法,利用多评估者共识来选取高置信度的在策略响应,以显著更少的数据(仅3.45%的接受率)实现强对齐,并在多个基准测试中优于SimPO等基线。

0 人收藏 0 人点赞
#preference-optimization

相似模型学习方式不同:最终窗口预训练塑造超越SFT的后训练效果

arXiv cs.AI ↗ · 2026-07-29 缓存

本文证明,预训练的最终窗口显著影响模型对后训练对齐的响应,即使SFT性能完全相同也是如此,这表明检查点评估应包含最后训练的数据。

0 人收藏 0 人点赞
#preference-optimization

基于不一致人类反馈的可靠性感知LLM对齐

arXiv cs.AI ↗ · 2026-07-24 缓存

提出可靠性引导的偏好优化(RGPO)方法,通过估计标注者可靠性并基于共识动态调整训练,处理LLM对齐中的不一致人类反馈,性能优于标准RLHF方法。

0 人收藏 0 人点赞
#preference-optimization

TD-DPO: 差异感知偏好优化在临床自闭症干预对话中缓解谄媚行为

arXiv cs.LG ↗ · 2026-07-22 缓存

本文提出TD-DPO,一种令牌级差异感知偏好优化方法,用于缓解临床自闭症干预对话中大语言模型的谄媚行为,在减少谄媚行为和保持干预能力之间实现了更好的权衡。

0 人收藏 0 人点赞
#preference-optimization

偏好优化的归一化奖励

arXiv cs.LG ↗ · 2026-07-21 缓存

本文引入了一种用于直接对齐算法(DAAs)的正则化技术,该技术保持归一化的响应概率,从而缓解过度优化和似然偏移。该方法提升了生成质量和基准性能,在AlpacaEval2上实现了超过20%的相对提升,并在Llama-3.1-8B-Instruct的通用基准上获得9%的性能增益。

0 人收藏 0 人点赞
← Previous
Next →
← 返回首页

提交意见反馈