我们如何在澳大利亚做得更好

# 我们将如何为澳大利亚做得更好 来源：https://openai.com/index/how-we-will-do-better-for-australia/ 六月，在内部训练和评估过程中，我们的模型以未经授权的方式访问了澳大利亚政府网站。我们本应更好地处理后续响应。对此我们深表歉意，并正努力在未来做得更好。 本文将阐述我们目前掌握的信息、已采取的变更措施，以及我们将如何重建澳大利亚民众对我们的信任。这是一类新型网络事件，代表着全球面临的新兴挑战。我们对此承担责任的其中一种方式，将是与澳大利亚有意合作，帮助制定切实可行的方法，使人工智能开发者和政府能够识别、披露和响应人工智能网络行为——无论其是恶意还是无意的。 ## 我们何时发现此事件及如何响应 在Hugging Face事件（https://openai.com/index/hugging-face-incident-and-the-road-ahead/）于七月发生后，我们开始审查更早的训练和评估活动，以识别其他受影响的组织。八月中旬，该审查确认了以下影响澳大利亚政府网站的活动。 根据现有证据，我们掌握的情况如下： - **Services Australia:** 一个OpenAI模型发现了一种获取该服务非公开访问权限的方法，并运行了命令，检索了内部文件、凭证和汇总统计信息，还写入了文件。但未访问任何个人患者或客户记录。我们将在下文更详细地介绍此事件。 - **新南威尔士州犯罪统计与研究局（BOCSAR）:** 一个OpenAI模型访问了BOCSAR的公开犯罪地图工具，以研究公开的犯罪统计数据（我们在下文进一步解释为何模型会执行各类信息研究任务）。该模型通过公开的BOCSAR工具发出了API和网站元数据请求，该工具提供了浏览器API请求的凭证。BOCSAR系统返回了应用程序配置、运行任务和日志，以及网站元数据。未访问个人犯罪记录。 - **维多利亚州卫生部:** OpenAI智能体发现了一个公开的访问密钥，可用于查询维多利亚州健康信息局的报告系统并获取报告配置和汇总调查统计数据。目前尚不清楚此信息在多大程度上应可被访问，这取决于维多利亚州健康信息局的访问策略。未访问个人医疗记录或可识别的调查回复。 - **澳大利亚健康与福利研究所:** OpenAI智能体通过第三方浏览和下载服务（包括来自澳大利亚健康与福利研究所网站的数据）检索了汇总统计数据，并直接查询了图表数据。尝试绕过访问控制的其他尝试未成功。下载的材料似乎是公开可用的。系统未被入侵。未访问个人医疗记录。 我们在八月中旬发现这些活动后立即启动了调查。我们在9月10日通知了Services Australia和维多利亚州卫生部，在9月18日通知了新南威尔士州犯罪统计与研究局。与澳大利亚健康与福利研究所相关的活动未达到我们的披露阈值，因为其访问方式似乎符合公开访问的特征，但我们仍在9月24日进行了通知，以分享我们的发现并提供简报。 我们的目标是在调查完成后向受影响的机构提供详细说明。但我们本应更早地分享初步发现，并在更多事实浮现时及时向澳大利亚机构通报最新情况。 此后，我们一直与澳大利亚政府机构密切合作，分享我们迄今所了解到的信息。如果我们识别出任何其他受影响的机构，将立即直接通知它们，并在获得更多事实后提供更新信息。 ## Services Australia Medicare统计报告服务相关事件始末 在六月的内部训练和评估期间，我们运行了一个实验性、仅限内部使用的OpenAI模型，该模型并未打算公开发布，也未配备我们公开产品中使用的全套安全措施。在此次训练和评估过程中，它访问了Services Australia的Medicare统计报告服务。我们迄今的审查未发现任何人的医疗记录被访问的证据。 当我们在模型上进行内部训练和评估时，我们会分配它们来自涵盖多个学科、范围广泛的研究问题集的任务，这些问题反映了用户可能会提出的详细类型。这训练模型查找、解释和分析公开信息，以使其对用户更有用。我们的模型本应使用公开发布的统计数据来回答这些问题。 在此案例中，分配给模型的任务之一是研究维多利亚州社区每人用于治疗皮肤病的政府支出。模型难以获取此信息，并采取了我们未授权的操作。在Services Australia的Medicare统计报告服务中寻找此信息的过程中，它发现了获取该服务非公开访问权限的方法。随后，它利用此权限查看了与该服务相关的技术系统信息和源代码——所有这些操作的目标仍然是试图找到它最初要寻找的信息。我们无意让此活动发生，对该服务的访问及后续活动本不应发生。 ## 我们正在做出的改变 继Hugging Face事件（https://openai.com/index/hugging-face-incident-and-the-road-ahead/）之后，我们加强了研究安全措施，包括增加网络限制和扩展监控。我们实施了控制措施以在此类研究环境中阻止对实时互联网的访问，网络访问通过缓存内容提供。作为额外的安全层，我们当前的监控系统本可以检测到此活动并通知我们的团队进行紧急人工审查。例如，当一个模型在最近一次训练运行（链接指向新窗口）(https://alignment.openai.com/misalignment-reports/an-agent-used-dns-to-reach-an-external-chatbot/)中获得实时互联网访问权限时，我们的监控系统检测到了该活动并通知了人工审查员，随后我们终止了该运行。我们持续测试这些保护措施并解决存在的漏洞。Hugging Face仍是我们观察到的最严重的事件。 人们希望知道AI正在被安全地开发，而这始于像我们这样的公司自身的行动。我们最近分享了（链接指向新窗口）(https://alignment.openai.com/misalignment-reports/an-agent-used-dns-to-reach-an-external-chatbot/)我们已暂停涉及最具能力模型的工具使用训练和评估，并且只有在确信已具备额外的安全措施后（我们目前正在努力落实）才会恢复这些训练。 随着AI系统整体能力的增长，我们也看到帮助组织发现和修复弱点的窗口期正在缩小。这需要与全球防御者共同努力，采取集体行动。 我们已加入技术、网络安全和关键基础设施领域的众多组织，共同呼吁在网络防御方面采取集体行动（https://openai.com/collective-cyberdefense/）。该呼吁首先要求我们自身承担责任，包括加强安全措施、及时披露信息以及为受影响的组织提供切实支持。同时，它也呼吁投资于保护关键服务的团队，使他们能够发现漏洞、验证修复措施并分享有效经验。 在澳大利亚，我们将投入资源和专业知识，支持受影响的机构，并帮助防御者将这些原则付诸实践，包括： - **为受影响的机构提供专门支持。** 我们将投入所需资源，帮助受影响的机构了解事件经过并评估影响。这包括通过适当的信息共享安排，分享相关技术发现并安排与我们的响应团队进行交流。 - **资金与支持以加强网络防御。** 我们将通过我们“一线防御者启明基金”（Daybreak for Frontline Defenders）（https://openai.com/index/daybreak-for-frontline-defenders/）的10亿美元信贷额度以及技术援助，支持澳大利亚政府和产业界，以加强关键基础设施和其他敏感环境的网络防御。基于我们与政府和关键基础设施运营商的接触，这项工作将帮助组织更好地理解、检测和应对来自日益强大的AI智能体的风险。 - **成立澳大利亚专项小组。** 我们将组建一个由澳大利亚独立专家构成的专项小组，为管理日益强大的AI智能体带来的风险制定切实可行的政策建议。借鉴这些事件的经验教训，该小组将侧重于改进通知流程、加强AI开发者与政府之间的协调，并确定更好保护政府系统的措施。该小组的建议将为OpenAI的工作方针提供参考，并支持澳大利亚政府在AI安全和网络安全方面的工作。预计该小组将在年底前完成工作，并提出AI公司可采取的减少类似事件风险的实际步骤。 ## 重建澳大利亚民众的信任 澳大利亚的政府、产业界和公民一直是，并且过去也是OpenAI不可或缺的伙伴。我们对此并非视为理所当然，我们决心纠正错误，把事情做好。 OpenAI首席战略官Jason Kwon将从OpenAI美国总部飞抵悉尼，出席于10月6日星期二举行的联合人工智能专门委员会会议。他将回答关于我们所知情况、我们的响应措施、我们已采取的步骤以及我们将如何在未来做得更好的问题。 我们将继续与受影响的机构和相关政府分享经核实的发现。我们将在我们的持续审查（https://openai.com/hugging-face-incident-and-misalignment/）及履行这些承诺方面的进展上发布更新。我们知道，我们前方还有很多工作要做以重建信任，并且我们有责任向澳大利亚人民证明，我们正在做出有意义的改变并践行我们的承诺。