OpenAI: 推出 AI Futures

# AI未来展望 来源：https://openai.com/index/introducing-ai-futures/ *“就这些纸面屏障，能否抵御权力扩张的诱惑？”*——詹姆斯·麦迪逊，《联邦党人文集第48篇》 我们很高兴推出**《AI未来展望》**，这是OpenAI新成立的战略未来团队的博客。我们是一个小团队，共同致力于回答一个核心问题：自由社会应如何重构，才能在适应变革性AI涌现的同时，维护个人权利与自主性？ 这类问题在广义的AI安全与政策领域，有时被称为**权力集中**风险。我们团队的核心理念是：长远来看，这类风险是规模最大、最严峻且在概念层面最具挑战性的。为何如此？ 现代国家是各权力中心长期博弈的产物，例如资本与商品所有者、政治权力行使者与民众之间的讨价还价。最根本的是，政治与军事权力始终建立在**劳动力**之上。掌握政治权力意味着拥有合法暴力的垄断权。纵观人类历史，这种垄断由士兵、今日所称的“警察”以及庞大的军政官僚体系构成——当然辅以各种技术工具，但其核心运作依赖于人类支持。而整套体系——士兵、工具、官僚系统——的资金来源于必须自愿纳税的劳动者的工资或产出。权力的本质，始终依赖于大规模人群的合作与同意。大卫·休谟曾精辟指出，政治领袖“除民众意见外别无依靠”。 但或许这一切即将改变。现实世界自主系统的进步可能意味着，国家即将能够在国内外施展力量，而不再依赖合作的士兵或警察。机器智能的进步则可能使国家无需从个人劳动成果中征税，而是通过数据中心产出获取财政收入。官僚体系的运作本身也可能实现大规模自动化。如此一来，权力可能不再需要全社会共识来维系，广义上的民众或将在谈判桌上仅占极小席位，甚至完全失去话语权。 避免这种结果是捍卫人类自由的基石。任何科学发现、技术进步或经济增长，都不值得为此牺牲长远的个人自主权。当前AI新兴政治所引发的诸多合理焦虑，本质上都源于此：企业、利益集团和个人都抱有同样的担忧：“我是否会在谈判中失去席位？”某种程度上，21世纪的美国政治正被类似关切所塑造——关于个人与集体能否掌控国家方向，以及“经济究竟为谁服务”。AI的出现加剧了这些问题的现实意义，这是理所应当的。 这是个比当今党派政治更深刻、甚至比共和民主现有形式与仪式更根本的结构性问题——尽管后者对我们而言神圣不可侵犯。即使我们依然维持选举代表的常规程序，人类仍可能逐步丧失权力。即使纸上写着自由，人们仍可能被剥夺自主权。 在自由国家美国诞生之初，詹姆斯·麦迪逊就已深知“纸面屏障”不足以防止暴政。与许多开国元勋一样，他首要关切的是避免权力的过度集中。 但这并不意味着开国元勋们主张权力的彻底分散。相反，他们运用当时最尖端科学（牛顿力学）的隐喻来构建权力制衡模型。美国建国文件充满了“轨道”“领域”“相互吸引”等与重力逻辑相通的表述。太阳系并非最大化分散的岩石聚合体——它由环绕行星运行的卫星构成，而行星又环绕着中心恒星运行。他们相信，个人与组织如同天体般具有**趋向**权力的天然倾向，而避免权力过度集中需要理解这些倾向的**力学机制**，使其相互制衡。 因此，开国元勋的目标并非避免**一切**权力集中，而是通过权力制衡、野心对抗野心来防止过度集中。今天我们可能用“激励”“博弈论”来描述同样的基本动力机制。 同理，应对先进机器智能对自由社会提出的结构性挑战，其答案可能并非最激进的权力分散方案，而是寻求建立并维护恰当的**权力平衡**，确保没有任何单一行为者或小群体能够支配其余所有人。 实现这种平衡需要对该技术现实进行清醒认知。若任何个体（无论多么恶毒）都能轻易对成千上万人造成巨大伤害，这绝非权力平衡的世界。但若个体无法广泛接触并控制表达自由所需工具的几乎所有方面，同样意味着权力失衡。任何单个企业或寡头集团都不应决定或控制经济或人类社会的基础设施。 我们还必须警惕非人类恶意引发的风险。最近的Hugging Face事件表明，AI代理可能超越预设任务范围，以运营者未曾预料或授权的方式相互借鉴成果。除该事件外，人类完全有理由担忧：脱离人类控制的超级智能AI，将对政治经济制度乃至人类生存的韧性意味着什么？若认为权力分散能解决**所有问题**——即使你相信它能解决许多——就等于忽视了那些早已明确且迫在眉睫的风险。 以下概括性原则（非详尽清单）将指导我们应对上述课题： - 人类在使用AI及相关技术时，应保持个人自主权与机会，即便这有时需权衡安全与经济增长 - 个人自主权取决于个体对技术误用或滥用应承担的**责任** - 存在少量但严重的风险类别需要一定程度的集体行动，且该行动应尽可能限定在狭窄适度的范围 - 在可能的情况下，法律应致力于创造公平竞争环境，赋能个人与小型组织，而非集中权力 - 人类政治、社会和经济制度应保持在世界事务中的主导地位，即便其演进方式可能令今日的我们感到陌生 - 长期AI治理将依赖新型制度机制实现**有限可溯性**：当AI系统执行涉及旁观者人身安全或财产的高风险行动时，必须能将这些行动追溯到负责任的人类或人类控制的组织。但任何此类机制**必须**以隐私保护为核心设计原则——言论自由需要匿名性，人类应在许多场景中自由匿名使用AI 我们将尽力以具体语言阐明，如何在这些原则间取得平衡。诚然，如同任何优良原则体系，这些原则本身存在内在张力。这需要结合公共政策设计、经济学、法学、历史学及机器学习本身进行交叉研究。同时需要大量前瞻性思考。例如，我们相信AI将从结构层面改变企业形态，正如工业革命技术（特别是铁路）催生了现代管理型公司。若不深入思考企业（以及广义上的政府机构与公民社会）结构**如何**转变，就无法真正探讨未来的政治经济学与权力平衡。 ## 结语 战略未来团队将在本博客及其他形式（包括论文、视频和播客）分享研究成果。我们的工作将是持续演进的过程，强调迭代、辩论与对反馈的开放心态。站在“奇点前夜”，我们面临的疑虑远多于答案。我们深知“纸面屏障”本身无法提供所需解决方案，但也不会将成文规范视为“空洞文字”。我们致力于服务自由表达与个人自由的理想，这些理想铭刻在美国宪法及全球众多自由社会宪法的朴素纸张之上。 最终，我们明白没有任何单一企业、行业乃至人类社会能够独自回答这些重大课题。这是我们人类必须集体承担的使命。我们最大的愿望，是为AI将如何重塑世界的最复杂议题投射一束光。我们的征程刚刚启程，前方仍有漫长的道路需要攀登。