标签
Matt Pocock 提出了一套简单的工作流程,让 AI 智能体贴合你的写作风格:先通过一个评分应用,逐一为示例句子打分,再与智能体逐句合写一篇文章,让它在此过程中检验假设,逐步建立你的写作风格画像。
本文提出了 PACE(代理对齐与曲率展开),一种优化前诊断方法,利用重复的人类评分来预测由固定代理指标诱导的人类评价增益曲线。该方法将代理指标优化建模为带有 KL 正则化的指数倾斜,并包含一阶对齐项和二阶修正项。结果表明,该方法在多个基准上降低了留出数据上的增益预测误差。
WeFair 提出 fidelity-aware 人类反馈对齐框架(示范→偏好→验证三阶段),用于短视频搜索的个性化查询重写,WeFair-2B 已在微信短视频搜索系统部署,日均服务超 1 亿查询,线上 A/B 测试显示有效播放率相对提升 2.593%。
该论文提出了一种人类反馈引导的多智能体逆强化学习框架(HFG-MAIRL),通过局部马尔可夫博弈和Bradley–Terry偏好反馈对交互式驾驶行为进行奖励建模,在AIDE数据集上超越了现有IRL基线。
RSI Arena 推出了一项分为两个阶段的研究:十个前沿 AI 智能体在固定的 GPU 和 API 预算下,以人类偏好反馈为指导,从同一个基础模型出发,自主开展语言模型后训练。表现最强的智能体(GPT-6 Astra)弥合了基础模型与指令模型之间差距的 76%,且大多数模型在第二阶段比第一阶段更受人类青睐,展示了在结合人类反馈的递归自我改进(RSIHF)方向上迈出的一步。
一篇已被《IEEE信号处理杂志》接收的教程式文章,综述了利用人类反馈对齐大语言模型的数学基础和算法框架,涵盖监督微调(SFT)、基于人类反馈的强化学习(RLHF)、直接偏好优化(DPO),以及它们与逆强化学习和离散选择模型的联系。该文为研究人员和从业者提供了关于对齐方法的全面参考资料。
作者认为缩放定律缺少一个参数 H —— 用于产生学习信号的人类努力/时间投入,而近年来大部分 AI 进步(ChatGPT 的 RLHF、编码/数学可验证任务、数据供应商的价值)源于 H 的扩展,而非仅仅模型规模或数据量。
该论文提出福利感知偏好获取方法(WAPA),在有限人工反馈预算下,通过社会福利目标来分配人工标注,以改善多元对齐中不同个体偏好的监督质量,实验证明仅获取 20% 人工标签即可恢复 75–86% 的效用差距。
Omar(@omarsar0)介绍了 Kled V3——一个 AI 数据采集平台,实验室可在 72 小时内从 50 多万名自愿参与者的网络中定制获取数据集(图像、视频、音频、文本、标注),从而实现「发现失败→采集数据→重新训练」的紧密闭环。
来自EPFL和University of Helsinki的研究者提出了不确定性归一化间隔DPO(UNM-DPO/ULNM-DPO-WR),该方法将偏好强度间隔与学习到的依赖提示的不确定性尺度及长度归一化相结合,在使用Llama-3.1-8B-Instruct策略模型时,于HelpSteer2/3和AlpacaEval上取得了优于DPO和SimPO的胜率表现。
Autodesk Research 推出了 FLOORA——一系列用于建筑布局生成的小型领域专用语言模型,其核心是使用一种自定义的领域特定语言(DSL)。其中 0.6B 参数的模型在面对分布外的建筑案例时,表现优于体量大得多的前沿模型,VLM 评审胜率最高可达 92%。
本文介绍了Warp如何利用Claude构建自改进的AI代理,通过人类反馈自动优化技能,并总结了有效代理开发的最佳实践。
本文将AI对齐重新表述为一个社会选择问题,通过凸影响空间上的线性优化,结合福利经济学和机制设计来推导对齐协议。并在肾脏分配、慈善食品分发、LLM回应和电车问题等场景中使用真实人类偏好实证阐述了其福利含义。
该推文讨论了模拟作为AI中潜在的新扩展规律,强调了来自Simile AI首席执行官的采访洞见,关于模拟人类行为以进行高级AI研究。
一条推文,介绍来自 langchain-ai/langchain-skills 的 eval-engineering 技能,该技能利用人类反馈为智能体评估生成对齐的环境、测试框架(harness)和任务。它解释了工作流程,并提供了该开源工具的安装说明。
AI 评估工具 DesignArena 背后的公司 Intelligence 完成了 790 万美元的种子轮融资,由 Index Ventures 领投。该平台利用人类偏好排名来改进 AI 生成的媒体内容,目前拥有 530 万用户和 6000 万美元的年度经常性收入(ARR)。
本文介绍了LEMUR,一个结合多目标强化学习与基于偏好的多人类反馈学习的框架,无需预定义奖励函数即可学习帕累托最优策略。
讨论如何将'人类拒绝'视为与'智能体故障'不同的故障模式,这显著影响了AI智能体在生产环境中的可靠性和调试。
本文介绍了DROPJ,一种以人为中心的方法,通过从真实世界轨迹中学习世界模型,然后引出带有理由的人类偏好来训练奖励模型,用于模型预测控制,从而安全地训练和部署智能体策略。实验表明,使用人工生成的模拟轨迹和理由可以提高安全性并降低计算成本。