标签
该论文提出 PERPL 框架,通过 LLM 模拟读者的相对偏好来学习个性化事实核查解释改写,在保持事实忠实性的同时优于更大的通用 LLM。
一篇已被《IEEE信号处理杂志》接收的教程式文章,综述了利用人类反馈对齐大语言模型的数学基础和算法框架,涵盖监督微调(SFT)、基于人类反馈的强化学习(RLHF)、直接偏好优化(DPO),以及它们与逆强化学习和离散选择模型的联系。该文为研究人员和从业者提供了关于对齐方法的全面参考资料。
论文提出了 DeCert(Decision Certificate Supervision,决策证书监督)框架,用于训练生成式奖励模型。该框架无需参考解释,即可评估生成理由的有效性与结论一致性,并将理由质量与位置偏差鲁棒性提升最多 14.8 个百分点。
本文提出了一种名为符号偏好标注(Symbolic Preference Labeling)的神经-符号方法:由大语言模型对预定义的提示/响应属性进行分类,再通过显式规则推导出可审计、可复现的偏好标签,随后使用DPO训练策略模型,并报告了在无害提示和有害提示上的拒答率。
该论文首次研究了可复制的对抗性多臂老虎机(replicable dueling bandits)问题,设计了在共享内部随机性下保证每次运行选择一致比较对的算法,并在多种随机传递性假设下证明了次线性后悔界,实验在合成数据和语言模型偏好上验证了可复制性。
本文表明,Chatbot Arena 排名所依据的 Bradley–Terry 模型假设成立的 Luce 选择公理,在近乎相同的模型上并不成立:基于 Arena 的 180 万次投票,相似模型之间的投票结果所体现的偏好强度最高可达 Bradley–Terry 模型预测值的 1.37 倍。仅需四到六个参数的小幅修正即可改善对留出投票数据的预测,但排行榜顺序几乎没有变化。
本文介绍了 TasteBench,这是一个以专家评判为金标准的成对比较基准,用于衡量视觉语言模型(VLM)在视觉、品牌、图书和科技领域的“品味”,同时提出了一套控制方案,用于量化并校正位置偏差、词汇泄漏和难度上限等评估伪差。
该论文提出福利感知偏好获取方法(WAPA),在有限人工反馈预算下,通过社会福利目标来分配人工标注,以改善多元对齐中不同个体偏好的监督质量,实验证明仅获取 20% 人工标签即可恢复 75–86% 的效用差距。
论文提出了一种近似帕累托最优(APO)方法,用于协同学习轻量级大语言模型对齐器的初始化参数,以支持在数据稀缺条件下的少样本个性化。该方法通过将更新方向兼容的用户分组,并协调相互竞争的目标以趋近帕累托最优点,同时给出了可证明的次优性界限。
该论文提出 Robust Nash Alignment,一个面向不确定成对偏好的博弈论对齐框架,通过主-对偶代理博弈与乐观镜面下降-上升算法,实现了对最坏情况胜率的认证下界,并在 LLM 对齐实验中优于基线方法。
本文介绍了一种用于开放词汇语义分割的偏好引导适应框架,该框架利用提示分歧生成二元偏好,消除了对密集像素级标注的需求,并在专业领域中提高了性能。
本文提出了一种从多模态数据中学习个体化效用函数的多阶段架构,表明在美学判断等主观任务中,考虑异质偏好的模型优于通用效用模型。
SKIP是一个基于自我知识引导的逐步偏好学习框架,通过使用DPO引导高效推理,改善大型语言模型中的推理压缩,减轻性能下降并减少过度思考。
本文研究了基数型LLM偏好判断在多个模型中的自一致性,发现了显著且持续的不一致性,表明它们无法被单一效用函数忠实总结。
FedPref 引入了一种联邦偏好学习方法,用于结构化放射学报告提取,允许机构在不共享数据的情况下协作,同时通过模拟医院的F1分数提升来提高提取准确性。
本文将对偏好的奖励学习重新定义为人机自主团队问题,指出知道目标的教师能够设计出比学习者驱动的查询选择更高效的训练示例。文章引入了带有二阶心理理论的理解陈述,以保持教师对学习者模型的同步,并通过仿真表明该方法优于学习者主导的选择。
This paper introduces KappaSharp, a method for condition-number shaping in Preferential Bayesian Optimization that corrects the ill-conditioned Hessian from isolated pairwise comparisons, showing up to +10.9% improvement over the standard PairedGP/EUBO baseline on 11 benchmarks including plasma medicine controller tuning.
Crayotter 引入了组相对偏好反向传播(GRPB),一种训练长视界视频编辑智能体的方法,利用任务内偏好排序而非全局标量奖励。由此产生的 9B 模型在 AgenticVBench 上超越了多个专有系统。
本文提出了一种基于偏好的学习框架,用于抗体表达排序,将稀缺的定量数据与来自免疫序列的大规模弱正监督相结合。该方法通过引入联合掩码对数似然近似和基于IMGT的比对,将直接偏好优化(DPO)适配到蛋白质语言模型,从而在多样化的内部数据集上实现了改进的排序性能。
介绍“从权重到文字”方法,该方法能从选择数据中自动发现以自然语言描述的领域相关偏好维度,使用户能够实时检查和编辑偏好模型推理。