标签
本文区分了将AI与人类偏好对齐和与人类行为对齐，表明偏好对齐可能会降低拟人性，并在当前对齐方法中建立图灵测试差距。
LOCUS是一种任务感知低秩后训练方法，可在保持偏好对齐的同时减少语言模型的输出令牌长度，在Pythia-2.8B上实现高达39.84%的减少，且仅需最少的参数更新。
BridgeAlign 提出了一种面向人文与社会科学领域的偏好对齐流水线，生成了 21 万条合成偏好样本，使 Qwen3-8B 在 17 个基准测试上取得了强劲表现。
本文系统研究了导向向量在受控文本生成中的局限性，发现其有效性在不同特质间存在差异，在任务迁移中会退化，并面临组合权衡问题。
本文介绍了个性化主动偏好对齐（PAPA），一种无需参数化奖励模型、利用实时用户反馈微调扩散模型的方法，提高了推荐和图像生成等个性化任务的效率。
DiARC是一种方法，通过从正负样本构建偏好对来提升大语言模型在类ARC任务上的推理能力，在多个基准测试中优于基线模型。
本文介绍了CHILLGuard，一个基于新的5大类、31小类风险分类体系和可扩展多阶段数据构建流程的细粒度中文大模型内容安全护栏。该模型实现了最先进的性能，在F1分数上相比现有基线提升了15.92%。
TuneJury 是一个开源的成对奖励模型，用于文本到音乐生成，提供校准的偏好评分，并泛化到多个下游应用。
本文介绍了Spectral Souping，这是一种通过发现通用谱表示来高效对齐LLM与个体用户偏好的框架，该表示能在推理时合并专门策略，无需昂贵的重新训练。
本文介绍了隐式偏好对齐（IPA），这是一种数据高效的训练后框架，可在无需成对偏好数据的情况下改善人类图像动画中的手部动作生成。它利用隐式奖励最大化和手部感知的局部优化来提高生成质量，同时降低数据整理成本。
Arch-Router是一个紧凑型1.5B参数模型，通过将查询映射到用户定义的领域和动作类型，将LLM路由与人类偏好对齐，在主观评估中优于专有模型。