human-feedback

标签

Cards List
#human-feedback

@mattpocockuk:在考虑一种非常简单的新方法,让智能体按照你的风格写作:1. 构建一个“评分器”应用,让……

X AI KOLs Following ↗ · 昨天 缓存

Matt Pocock 提出了一套简单的工作流程,让 AI 智能体贴合你的写作风格:先通过一个评分应用,逐一为示例句子打分,再与智能体逐句合写一篇文章,让它在此过程中检验假设,逐步建立你的写作风格画像。

0 人收藏 0 人点赞
#human-feedback

基于重复评分预测局部代理优化下的人类增益曲线

arXiv cs.AI ↗ · 2026-11-02 缓存

本文提出了 PACE(代理对齐与曲率展开),一种优化前诊断方法,利用重复的人类评分来预测由固定代理指标诱导的人类评价增益曲线。该方法将代理指标优化建模为带有 KL 正则化的指数倾斜,并包含一阶对齐项和二阶修正项。结果表明,该方法在多个基准上降低了留出数据上的增益预测误差。

0 人收藏 0 人点赞
#human-feedback

WeFair:面向短视频搜索个性化查询重写的人类反馈保真度感知对齐

Hugging Face Daily Papers ↗ · 2026-10-30 缓存

WeFair 提出 fidelity-aware 人类反馈对齐框架(示范→偏好→验证三阶段),用于短视频搜索的个性化查询重写,WeFair-2B 已在微信短视频搜索系统部署,日均服务超 1 亿查询,线上 A/B 测试显示有效播放率相对提升 2.593%。

0 人收藏 0 人点赞
#human-feedback

人类反馈引导的多智能体逆强化学习用于交互式驾驶行为建模

arXiv cs.AI ↗ · 2026-10-27 缓存

该论文提出了一种人类反馈引导的多智能体逆强化学习框架(HFG-MAIRL),通过局部马尔可夫博弈和Bradley–Terry偏好反馈对交互式驾驶行为进行奖励建模,在AIDE数据集上超越了现有IRL基线。

0 人收藏 0 人点赞
#human-feedback

RSI Arena:迈向基于人类反馈的递归自我改进

arXiv cs.CL ↗ · 2026-10-27 缓存

RSI Arena 推出了一项分为两个阶段的研究:十个前沿 AI 智能体在固定的 GPU 和 API 预算下,以人类偏好反馈为指导,从同一个基础模型出发,自主开展语言模型后训练。表现最强的智能体(GPT-6 Astra)弥合了基础模型与指令模型之间差距的 76%,且大多数模型在第二阶段比第一阶段更受人类青睐,展示了在结合人类反馈的递归自我改进(RSIHF)方向上迈出的一步。

0 人收藏 0 人点赞
#human-feedback

基于人类反馈的大型语言模型对齐:数学基础与算法设计

arXiv cs.LG ↗ · 2026-10-27 缓存

一篇已被《IEEE信号处理杂志》接收的教程式文章,综述了利用人类反馈对齐大语言模型的数学基础和算法框架,涵盖监督微调(SFT)、基于人类反馈的强化学习(RLHF)、直接偏好优化(DPO),以及它们与逆强化学习和离散选择模型的联系。该文为研究人员和从业者提供了关于对齐方法的全面参考资料。

0 人收藏 0 人点赞
#human-feedback

@shikibmehri: 我认为缩放定律中缺少一个参数:H —— 用于产生学习信号的人类努力/时间

X AI KOLs Following ↗ · 2026-10-15 缓存

作者认为缩放定律缺少一个参数 H —— 用于产生学习信号的人类努力/时间投入,而近年来大部分 AI 进步(ChatGPT 的 RLHF、编码/数学可验证任务、数据供应商的价值)源于 H 的扩展,而非仅仅模型规模或数据量。

0 人收藏 0 人点赞
#human-feedback

我们应该更多地听取谁的意见?面向多元化对齐的福祉感知偏好获取

arXiv cs.LG ↗ · 2026-10-15 缓存

该论文提出福利感知偏好获取方法(WAPA),在有限人工反馈预算下,通过社会福利目标来分配人工标注,以改善多元对齐中不同个体偏好的监督质量,实验证明仅获取 20% 人工标签即可恢复 75–86% 的效用差距。

0 人收藏 0 人点赞
#human-feedback

@omarsar0:你无法抓取一个尚不存在的数据集。想想如何在特定环境、特定机位下训练模型完成某项特定任务……

X AI KOLs Timeline ↗ · 2026-10-02 缓存

Omar(@omarsar0)介绍了 Kled V3——一个 AI 数据采集平台,实验室可在 72 小时内从 50 多万名自愿参与者的网络中定制获取数据集(图像、视频、音频、文本、标注),从而实现「发现失败→采集数据→重新训练」的紧密闭环。

0 人收藏 0 人点赞
#human-feedback

面向直接偏好优化的不确定性归一化间隔

arXiv cs.LG ↗ · 2026-10-02 缓存

来自EPFL和University of Helsinki的研究者提出了不确定性归一化间隔DPO(UNM-DPO/ULNM-DPO-WR),该方法将偏好强度间隔与学习到的依赖提示的不确定性尺度及长度归一化相结合,在使用Llama-3.1-8B-Instruct策略模型时,于HelpSteer2/3和AlpacaEval上取得了优于DPO和SimPO的胜率表现。

0 人收藏 0 人点赞
#human-feedback

FLOORA:一个与人类对齐、面向建筑设计的领域专用语言模型

arXiv cs.LG ↗ · 2026-09-30 缓存

Autodesk Research 推出了 FLOORA——一系列用于建筑布局生成的小型领域专用语言模型,其核心是使用一种自定义的领域特定语言(DSL)。其中 0.6B 参数的模型在面对分布外的建筑案例时,表现优于体量大得多的前沿模型,VLM 评审胜率最高可达 92%。

0 人收藏 0 人点赞
#human-feedback

异质偏好学习

arXiv cs.AI ↗ · 2026-09-17 缓存

本文提出了一种从多模态数据中学习个体化效用函数的多阶段架构,表明在美学判断等主观任务中,考虑异质偏好的模型优于通用效用模型。

0 人收藏 0 人点赞
#human-feedback

@dotey: Claude 新的一篇博文《How Warp builds self-improving agents on Claude》 https://claude.com/blog/how-warp-builds-self-improving-a…

X AI KOLs Timeline ↗ · 2026-08-29 缓存

本文介绍了Warp如何利用Claude构建自改进的AI代理,通过人类反馈自动优化技能,并总结了有效代理开发的最佳实践。

0 人收藏 0 人点赞
#human-feedback

算法影响揭示了对齐的隐藏社会选择结构

arXiv cs.AI ↗ · 2026-08-26 缓存

本文将AI对齐重新表述为一个社会选择问题,通过凸影响空间上的线性优化,结合福利经济学和机制设计来推导对齐协议。并在肾脏分配、慈善食品分发、LLM回应和电车问题等场景中使用真实人类偏好实证阐述了其福利含义。

0 人收藏 0 人点赞
#human-feedback

@swyx:我认为很容易说“模拟是新的扩展规律”,并将其视为营销炒作,但在采访中途……

X AI KOLs Timeline ↗ · 2026-08-21 缓存

该推文讨论了模拟作为AI中潜在的新扩展规律,强调了来自Simile AI首席执行官的采访洞见,关于模拟人类行为以进行高级AI研究。

0 人收藏 0 人点赞
#human-feedback

@Vtrivedy10:基于人类反馈的合成环境生成——智能体作为一次性评估/环境生成器表现不佳,因为它们……

X AI KOLs Following ↗ · 2026-08-04 缓存

一条推文,介绍来自 langchain-ai/langchain-skills 的 eval-engineering 技能,该技能利用人类反馈为智能体评估生成对齐的环境、测试框架(harness)和任务。它解释了工作流程,并提供了该开源工具的安装说明。

0 人收藏 0 人点赞
#human-feedback

DesignArena 创造者筹集 790 万美元,为 AI 模型带来审美

TechCrunch AI ↗ · 2026-08-03 缓存

AI 评估工具 DesignArena 背后的公司 Intelligence 完成了 790 万美元的种子轮融资,由 Index Ventures 领投。该平台利用人类偏好排名来改进 AI 生成的媒体内容,目前拥有 530 万用户和 6000 万美元的年度经常性收入(ARR)。

0 人收藏 0 人点赞
#human-feedback

LEMUR:从偏好反馈中学习与多目标强化学习对齐

arXiv cs.AI ↗ · 2026-08-03 缓存

本文介绍了LEMUR,一个结合多目标强化学习与基于偏好的多人类反馈学习的框架,无需预定义奖励函数即可学习帕累托最优策略。

0 人收藏 0 人点赞
#human-feedback

将"人类拒绝"视为与"智能体故障"不同的故障模式——事实证明,这种区分在生产环境中非常重要

Reddit r/AI_Agents ↗ · 2026-07-27

讨论如何将'人类拒绝'视为与'智能体故障'不同的故障模式,这显著影响了AI智能体在生产环境中的可靠性和调试。

0 人收藏 0 人点赞
#human-feedback

通过世界模型从人类偏好和理由中学习安全智能体行为

arXiv cs.AI ↗ · 2026-07-16 缓存

本文介绍了DROPJ,一种以人为中心的方法,通过从真实世界轨迹中学习世界模型,然后引出带有理由的人类偏好来训练奖励模型,用于模型预测控制,从而安全地训练和部署智能体策略。实验表明,使用人工生成的模拟轨迹和理由可以提高安全性并降低计算成本。

0 人收藏 0 人点赞
Next →
← 返回首页

提交意见反馈