OpenAI 安全研究员：“竞相迈向 RSI［递归式自我改进］是世界历史上前所未有的愚行……自［9 年前的］RLHF［基于人类反馈的强化学习］以来，对齐领域尚未取得根本性进展。”

Reddit r/ArtificialInteligence 新闻
ai-safety alignment recursive-self-improvement openai ai-risk rlhf

摘要

一位 OpenAI 安全研究员警告称，自 RLHF 以来，在对齐研究尚未取得根本性进展的情况下追求递归式自我改进，是前所未有的愚行，凸显了 AI 能力与安全研究之间的差距。

暂无内容
查看原文

相似文章

RSI 未实现 [R]

Reddit r/MachineLearning

一篇新论文认为，递归自我改进 (RSI) 并非迫在眉睫，因为当前的 AI 代理无法进行开放式的机器学习研究，这在针对 NeurIPS 论文的实验中得到证明。

一份新报告揭示了研发自我改进型人工智能的秘密竞赛

Reddit r/singularity

Gladstone AI 的一份新报告基于与顶尖人工智能公司内部人士的交谈，揭示了围绕递归自我改进（RSI）展开的秘密竞赛的细节。一些研究人员认为，RSI 可能会在 3 至 12 个月内启动，这引发了监管机构对人工智能能力和安全性的双重担忧。