标签
本文提出了一种面向AI智能体的反馈记忆层，该层从每次人类的批准或拒绝中学习，从而通过与用户的交互实现持续改进。
本文认为，标准RLHF将人类偏好标量化的做法导致多个有效解释被压缩为单一目标，从而在文化多元的社会中错误衡量对齐。通过对马来西亚数据集的分析，研究发现79%的提示词存在多个多数支持的回答，而这些回答在单一胜者聚合中被丢弃。
本文分析了来自75个国家的1500份开放式回答，揭示了人们对AI的偏好多样且常常相互冲突，其中真实是唯一被广泛需求的价值（49%），但定义方式却互不兼容。研究认为，当前的RLHF方法将这些多元偏好扁平化为通用奖励模型，延续了认知暴力。
StepAudio 2.5 是一个统一的音频-语言模型，通过利用针对任务定制的基于人类反馈的强化学习来优化共享表示，在自动语音识别（ASR）、文本转语音（TTS）和实时口语交互方面取得了最先进的结果。
OpenAI 发布研究预览，探索如何超越聊天界面，从人类与电脑的交互中学习，并同步上线相关 arxiv 论文。
WildFeedback是一个新颖的框架，它利用真实LLM对话中的原位用户反馈来自动创建偏好数据集，用于将语言模型与人类偏好对齐，解决了传统基于标注的对齐方法中的可扩展性和偏差问题。
# AI编写的评论帮助人类发现缺陷 来源：[https://openai.com/index/critiques/](https://openai.com/index/critiques/) 我们希望确保未来执行极困难任务的AI系统始终与人类意图保持一致。[Many](https://openai.com/index/learning-to-summarize-with-human-feedback/)[previous\(opens in a new window\)](https://arxiv.org/abs/2204.05862)[works\(opens in a new window\)](https://www.deepmind.com/publications/gophercite-teaching-language-models-to-suppo
OpenAI 展示了一种可扩展的对齐技术，使用人工反馈进行整本书的分层摘要总结，展示了如何训练模型在复杂、难以评估的任务上按照人类意图行动。
OpenAI展示了一种通过在人类偏好上训练奖励模型并使用强化学习微调模型来改进语言模型总结的技术，实现了在数据集间具有良好泛化性能的显著质量提升。这项工作通过大规模人类反馈推进了模型对齐，并具有超越总结任务的应用前景。
OpenAI展示了使用人类偏好反馈对GPT-2（774M参数）进行微调，用于文本续写和摘要任务，风格任务需要5000个标签，摘要任务需要60000个标签，模型达到了86-88%的人类偏好率，但揭示了标注者启发式利用的问题。
OpenAI 提出了迭代放大方法，用于训练 AI 系统处理复杂任务，通过递归地将任务分解为人类可以判断和解决的更小子任务，从零开始通过迭代组合构建训练信号。
OpenAI 发布了 RL-Teacher，这是一个开源工具，可以通过人类反馈而不是手工设计的奖励函数来训练 AI 系统，应用于安全 AI 开发和复杂强化学习问题。
OpenAI 提出了一种使用人类偏好反馈训练 AI 智能体的方法，智能体通过人类对行为轨迹的比较来学习奖励函数，并使用强化学习来优化推断的目标。该方法展示了很强的样本效率，需要少于 1000 比特的人类反馈就能训练智能体完成后翻。