可预见的愚蠢

https://t.co/785SQ5spai

科学家推动建立国际机构监管人工智能

来源：https://www.theglobeandmail.com/business/article-scientists-international-body-regulate-artificial-intelligence/ 在图库中打开此照片：(https://www.theglobeandmail.com/resizer/v2/DOX23MOTRBEP3ARUCNJTV2FWWI.jpg?auth=962d371bc7135452fa578b17aa2e0b7a3d5973f6be0086f013931787cc9988a3&width=600&height=400&quality=80&smart=true)签署者包括加拿大AI先驱Yoshua Bengio，以及来自美国、德国、英国和澳大利亚等27个国家的研究人员。ANDREJ IVANOV/AFP/Getty Images

来自世界各地的260多名科学家呼吁成立一个国际机构，为安全开发人工智能（AI）模型和管控AI智能体制定标准。

过去几个月中，由OpenAI开发的智能体渗透了澳大利亚政府和多个组织的系统，其中包括AI公司Hugging Face（https://www.theglobeandmail.com/business/article-openai-agents-probed-hugging-face-for-weaknesses-two-months-before/），引发专家警觉，凸显了控制更强大系统的必要性。

Anthropic和Google也近期披露了其AI模型在测试期间发生的安全违规事件。

“如果不立即改变AI开发和部署方式，此类事件将继续发生，未来的事件将对我们暴露的关键基础设施造成远为严重的损害，“签署者在周二发布的一封公开信中写道（https://ai-security-letter.org/）。

事实上，一些专家担忧，理论上更强大的失控智能体可能访问敏感的企业数据、入侵电力和水处理系统，并逃脱人类的控制。

当AI智能体失控时，谁应承担法律责任？（https://www.theglobeandmail.com/business/article-rogue-ai-behaviour-creates-a-legal-quandary/）

签署者包括加拿大AI先驱Geoffrey Hinton和Yoshua Bengio，以及来自美国、德国、英国和澳大利亚等27个国家的研究人员。

该倡议的牵头人之一、科学家David Lie表示，他对大型AI实验室识别这些安全漏洞所花费的时间之长感到担忧。

“AI开发的推进速度让他们觉得不值得监控这些事情……这意味着AI的开发方式存在某种危险，“Lie教授说道。他是Schwartz Reisman科技与社会研究所所长，也是多伦多大学电气与计算机工程系教授。

该信建议，未能成功管控AI智能体的事件应上报给新的国际机构，该机构应在政府以及AI和网络安全专家的磋商下成立。

信中指出，该机构应负责追踪AI智能体逃离测试沙箱的事件，相关报告应公开发布，以确保问责并提供学习的机会。

OpenAI模型失控并入侵初创公司Hugging Face后，专家呼吁加强监管（https://www.theglobeandmail.com/business/economy/article-openai-models-rogue-hack-startup-testing-hugging-face/）

沙箱环境是指代码被隔离于更广泛的网络之外，从而能够安全执行的环境。在Hugging Face入侵事件中，OpenAI的智能体耗费了大量算力突破沙箱并接入互联网，目的是完成对其网络安全能力的评估。

Lie教授表示，独立机构有助于消除一种担忧，即大量安全违规信息直接来自大型AI公司本身。

根据该信，国际组织应制定最佳实践以确保AI模型的对齐，即AI模型以符合人类价值观和伦理的方式实现目标。该机构还应制定AI智能体在连接互联网时的管控指南。

信中指出，正在开发具备网络安全能力的先进AI模型的组织应谨慎行事，默认采用物理隔离方式，即系统不连接互联网。

Lie教授和他在多伦多大学的两位同事Nicolas Papernot和Thomas Ristenpart起草了这封信。今年早些时候，Papernot教授的实验室发表了一项研究，展示了如何利用AI制造一种危险的计算机蠕虫（https://www.theglobeandmail.com/business/economy/article-u-of-t-researchers-discover-method-of-using-ai-to-create-more/），该蠕虫能够在从一台设备传播到另一台设备的过程中不断改变其策略。

报告称AI智能体试图入侵加拿大政府网站的离婚记录（https://www.theglobeandmail.com/business/article-ai-agents-tried-to-hack-canadian-government-website/）

三位多伦多大学教授将这封信分享给同事，询问他们是否愿意签署并转发，“然后它就像滚雪球一样壮大了，“Lie教授说。

信中指出，对近期失控智能体事件有两种广义的解读。一是AI模型存在对齐问题。例如，已有模型被发现存在作弊、欺骗行为，并能表现出对自己正在接受测试的感知。

其次，近期事件也可被视为“标准网络安全实践中的不负责任的失误，可以通过更强的沙箱和程序来预防，“信中写道。签署者认为，两个方面都需要改进。

“我们应该有一些明确的程序和技术机制来安全地进行这类AI测试，“Ristenpart教授说。“这将是一项共同努力。这比由单个公司甚至单个学术团队来做要好。”

总理Mark Carney曾表示，他支持成立一个全球技术稳定委员会以确保AI安全，并将此类机构类比于金融稳定委员会。

Anthropic AI模型向费城警方提交虚假凶杀案线索（https://www.theglobeandmail.com/world/article-anthropic-ai-model-submits-false-homicide-tip-to-philadelphia-police/）

AI实验室和独立研究者正在多条路径上推进对齐研究。由Bengio先生发起的非营利组织LawZero（https://www.theglobeandmail.com/business/article-yoshua-bengio-lawzero-receives-300-million-from-canada-germany/）旨在构建一个中立的AI系统，该系统不会主动追求目标，因此不会表现出当今最先进模型中所见的危险行为。

前OpenAI员工、颇具影响力的研究者Paul Christiano正在他于加利福尼亚创立的非营利机构Alignment Research Center（对齐研究中心）探索另一种方法。

AI模型常被描述为黑箱，因为我们无法清楚了解它们为何采取某些行动。Christiano先生正在寻找AI模型行为的数学解释，并利用这些洞见来检测和解决对齐问题。

“ARC正在采取的方法非常有前景，但我说的更接近于这条研究路线有10%的成功几率，而非50%，“Christiano先生在上周的一次采访中表示。他将该非营利机构的研究描述为在当前对齐方法失败时的备选方案。

他最近撰文（https://www.lesswrong.com/posts/vLFh8HP3hyNy9MCwe/returning-to-arc）指出，在“超人级“AI系统被开发出来之前，对齐和控制方法失效的可能性为20%到30%。鉴于模型中内置的强烈目标追求行为，这构成了严峻的风险。随着实验室将AI研发过程自动化，进展可能会加速。

“确实存在这样一种可能性：在大约6到18个月的时间范围内，我们将面临这样的AI系统——如果它们想要逃脱人类控制、破坏人类控制或公开与人类对抗，人类将很难胜出，“他在采访中说道。