标签
本文介绍了一种用于开放词汇语义分割的偏好引导适应框架，该框架利用提示分歧生成二元偏好，消除了对密集像素级标注的需求，并在专业领域中提高了性能。
本文提出了一种从多模态数据中学习个体化效用函数的多阶段架构，表明在美学判断等主观任务中，考虑异质偏好的模型优于通用效用模型。
SKIP是一个基于自我知识引导的逐步偏好学习框架，通过使用DPO引导高效推理，改善大型语言模型中的推理压缩，减轻性能下降并减少过度思考。
本文研究了基数型LLM偏好判断在多个模型中的自一致性，发现了显著且持续的不一致性，表明它们无法被单一效用函数忠实总结。
FedPref 引入了一种联邦偏好学习方法，用于结构化放射学报告提取，允许机构在不共享数据的情况下协作，同时通过模拟医院的F1分数提升来提高提取准确性。
本文将对偏好的奖励学习重新定义为人机自主团队问题，指出知道目标的教师能够设计出比学习者驱动的查询选择更高效的训练示例。文章引入了带有二阶心理理论的理解陈述，以保持教师对学习者模型的同步，并通过仿真表明该方法优于学习者主导的选择。
This paper introduces KappaSharp, a method for condition-number shaping in Preferential Bayesian Optimization that corrects the ill-conditioned Hessian from isolated pairwise comparisons, showing up to +10.9% improvement over the standard PairedGP/EUBO baseline on 11 benchmarks including plasma medicine controller tuning.
Crayotter 引入了组相对偏好反向传播（GRPB），一种训练长视界视频编辑智能体的方法，利用任务内偏好排序而非全局标量奖励。由此产生的 9B 模型在 AgenticVBench 上超越了多个专有系统。
本文提出了一种基于偏好的学习框架，用于抗体表达排序，将稀缺的定量数据与来自免疫序列的大规模弱正监督相结合。该方法通过引入联合掩码对数似然近似和基于IMGT的比对，将直接偏好优化（DPO）适配到蛋白质语言模型，从而在多样化的内部数据集上实现了改进的排序性能。
介绍“从权重到文字”方法，该方法能从选择数据中自动发现以自然语言描述的领域相关偏好维度，使用户能够实时检查和编辑偏好模型推理。
本文提出了用于个性化设备端行程生成的计划-学习-适应（PLA）框架，该框架将保证可行性的组合规划与通过 Bradley-Terry 奖励模型进行的人类偏好学习相结合。在实际部署中，该框架实现了行程完成率提升 91%，且延迟低，在可行性方面超过了前沿大语言模型。
本文介绍了DROPJ，一种以人为中心的方法，通过从真实世界轨迹中学习世界模型，然后引出带有理由的人类偏好来训练奖励模型，用于模型预测控制，从而安全地训练和部署智能体策略。实验表明，使用人工生成的模拟轨迹和理由可以提高安全性并降低计算成本。
本文批判了使用成对比较来学习人类偏好的方法，认为内部多元主义（多种相互冲突的优先级）削弱了标准方法。它提出了一个形式化模型，并建议允许犹豫不决可以提高学习效率。
本文将SOLiD测谎器监督方法扩展到更大的LLM（参数规模高达405B），并在真实的偏好学习场景中进行评估，发现未检测到的欺骗行为随模型规模增大而减少，但该方法对训练数据之间的分布偏移敏感。
ThoughtFold 提出了一种利用内省偏好学习的框架，旨在减少大型推理模型在思维链推理中的冗余探索，在 DeepSeek-R1-Distill-Qwen-7B 上实现了约 56% 的令牌减少，且准确率无损。
本文提出了两种自动化指标：词汇对齐分数（Lexical Alignment Score）和三角化偏好转变（Triangulated Preference Shift），用于识别大语言模型中的词汇过度使用，并将其归因于偏好学习阶段。该方法在六个模型家族上使用PubMed摘要进行测试，无需人工干预即可重复先前的研究发现。
提出了SelSkill，一个双粒度偏好学习框架，学习在智能体任务中何时调用技能，在ALFWorld上将任务成功率提升10.9%，在BFCL上提升5.7%。
介绍了一种无需人工筛选的指标（Triangulated Preference Shift），用于隔离和量化LLM在偏好学习过程中诱导的词汇偏见，无需手动筛选，覆盖六个模型家族。
本文形式化了概率标签排序的校准定义，引入了校准概念的层次结构，并表明常见模型校准不佳。进一步展示了在RLHF奖励模型中的应用，其中校准与准确性相关但不完全相同。
本文介绍了一种通过偏好学习聚合多个弱指标的分数来提高文本摘要事实一致性的方法，在各种语言模型上实现了一致的事实性提升。