@robertwiblin: 约书亚·本吉奥认为他知道如何制造可证明安全的超级智能体。本吉奥奠定了现代人工智能的基础……

约书亚·本吉奥认为他知道如何制造可证明安全的超级智能体。本吉奥奠定了现代人工智能的基础，是在世被引用次数最多的科学家。他相信自己的替代训练方案能够：1. 保证诚实 2. 防止意外目标 3. 产生有能力的智能体 4. 移植当前大语言模型的大部分数据和技术 5. 本质上不会更昂贵，甚至可能更智能。本吉奥声称，诚实和避免意外目标这一点至少在特定假设下是可以数学证明的。他的新组织 LawZero 旨在尽快搭建一个简陋的原型。该架构被称为“科学家 AI”，其基础是训练模型去解释经验观察（包括人们所说的话），而不是训练那些模仿人类行为或寻求我们认可的 AI。（本吉奥直言不讳地评价道：“强化学习是邪恶的”，允许 AI 独立地训练其继任者是“最疯狂、最危险的赌注，不幸的是我们正走在这样做的轨道上”。）但怀疑者质疑科学家 AI 是否真的解决了从 AI 模型中“提取潜在知识”这一根本问题。而且，由于商业竞赛如此激烈，即使该提议在理论上合理，也不清楚它是否能够竞争或来得及结出果实。在《80,000 小时播客》中，链接如下——敬请欣赏！ • 让 AI 诚实且安全 (00:00:00) • 用简单英语解释科学家 AI (00:02:27) • 科学家 AI 与大语言模型的不同之处 (00:06:32) • 训练数据如何运作 (00:14:02) • 这能成为智能体吗？ (00:21:02) • 约书亚为何现在更加乐观 (00:32:11) • 为什么公司无法停止竞赛 (00:36:35) • 工作原型不会花费太长时间 (00:49:15) • 科学家模型可能更有能力 (00:53:34) • “强化学习是邪恶的” (01:01:27) • 科学家 AI 从护栏到智能体 (01:08:37) • 安全的 AI 还能胜任工作吗？ (01:12:38) • 这要花多少钱？ (01:19:29) • 它能泛化到数学和科学之外吗？ (01:23:26) • 多国推动超级智能 (01:39:19) • 想与约书亚合作或资助他吗？ (01:51:16) • 为什么聪明人忽视 AI 风险 (01:54:45) • 不要让 AI 制造下一代 AI (02:01:33) • 为什么政客错过真正的风险 (02:12:28) • 为什么约书亚改变了对 AI 风险的看法 (02:21:27)