LawZero - Joshua Bengio 通过构建 AI 预言机解决 AI 对齐问题的愿景

Reddit r/singularity 新闻

摘要

LawZero 是一家非营利性初创公司,致力于推进 Yoshua Bengio 的研究,开发设计即安全的 AI 系统与预言机,旨在解决对齐挑战,并缓解前沿模型中的欺骗性行为。

暂无内容
查看原文
查看缓存全文

缓存时间: 2026/05/12 10:45

# LawZero | 主页 来源:https://lawzero.org/en ## 守护人类的快乐与奋斗 ### LawZero 是一家致力于为能力卓越、安全设计的 AI 系统开发技术解决方案的非营利初创公司。 **挑战:** 当前最前沿的 AI 系统正变得更具能力和自主性,但它们仍然不透明且与人类目标未对齐。这些系统已经显示出许多欺骗行为和自我保护的早期迹象,造成了日益增长的不确定性,关于这些系统在拥有更强的自主战略规划能力时将如何表现。 **我们的方案:** 我们正在建立一条通往安全高级 AI 的多步骤路径,以确保未来的 AI 系统得到负责任、公平的开发和部署,并成为全球公共福祉。 简而言之,我们正在创造一种全新形式的高级 AI,旨在值得信赖且安全可靠。 我们的科学方向基于由 Yoshua Bengio 教授领导的开创性研究 (https://lawzero.org/en/research),他是全球公认的人工智能专家,也是所有领域中被引用次数最多的在世科学家。 #### 最新新闻 新西兰前总理、尊敬的 Jacinda Ardern 女爵士加入 LawZero 全球顾问委员会。 LawZero 任命了 7 位全球领袖进入其董事会和全球顾问委员会,其中包括顶尖 AI 和商业界人士以及一位前政府首脑。 #### 媒体报道 #### 捐赠者 得益于慷慨捐赠者的支持,我们成立了一家主要的非营利 AI 安全初创公司,使其免受往往将部署速度置于安全性和可靠性之上的市场压力的影响。 Silicon Valley Community Foundation 的捐赠建议基金 由 Jaan Tallinn 和 Founders Pledge Inc. (US) 的慷慨资助促成 由 Jaan Tallinn 和 Survival and Flourishing DAF(SVCF 的捐赠建议基金)的慷慨资助促成

相似文章

对齐即法理学

arXiv cs.AI

一篇题为《对齐即法理学》的学术论文探讨了人工智能对齐与法律框架之间的交叉领域,很可能在司法推理与人工智能安全之间建立了平行关系。

对齐(Alignment)

Anthropic Research

本文概述了Anthropic对齐团队的使命与研究重点,该团队通过评估、监督和压力测试等手段开发保障措施,以确保未来的AI系统始终保持有益、诚实和无害。

你不是对齐AI,而是与它对齐

Hacker News Top

本文批评了当前AI对齐领域的讨论,认为这场争论被研究人员和科技精英主导,他们排除了真正会受到AI系统影响的人群。文章对比了Eliezer Yudkowsky和Marc Andreessen的立场,指出他们共同持有一种假设:设计者才是唯一相关的参与者。