投资多智能体AI安全研究

# 投资多智能体AI安全研究 来源：https://deepmind.google/blog/investing-in-multi-agent-ai-safety-research/ 2026年6月11日责任与安全 ## 为多智能体世界扩展AI安全研究 过去十年，我们一直致力于让单个AI模型更强大、更有用、更安全。今天，谷歌DeepMind携手Schmidt Sciences（https://www.schmidtsciences.org/）、Cooperative AI Foundation（https://www.cooperativeai.com/foundation）、Advanced Research and Invention Agency（https://aria.org.uk/opportunity-spaces/trust-everything-everywhere/scaling-trust/），并得到Google.org（http://google.org/）的支持，共同宣布一项面向全球研究人员、总额高达1000万美元的新技术研究资助计划。 随着AI技术规模的扩大，我们正进入一个新时代。很快，由不同组织构建的数百万个AI智能体将在数字环境中交互，相互通信、协商和交易。 这些系统交互时，必须安全且可预测地运行。这一转变创造了一个关键机会：我们可以从一开始就强化整个AI生态系统的安全性和稳定性。 本次资助计划重点关注大规模多智能体AI系统作为群体行为的表现，以及如何提供框架来理解和缓解潜在风险。通过赋能全球研究人员，我们旨在解决独立系统在不同网络中交互时产生的“隐形”安全风险。 ## 为什么智能体生态系统很重要 当大量AI智能体交互时，新的集体行为和能力可能突然涌现。目前，我们缺乏预测、测量和监测这些转变的工具。大多数安全评估仅在孤立状态下分析模型。然而，正如我们（https://arxiv.org/abs/2512.16856）和他人（https://www.cooperativeai.com/post/new-report-multi-agent-risks-from-advanced-ai）此前曾指出的，相互交互的自主智能体能产生复杂且难以预测的“涌现”行为。 由于这是一个全新的研究领域，理解这些变化如何发生至关重要。例如，它们是否会导致不可预测的经济活动激增，或引发新的安全挑战？理解如何管理这些系统级行为是我们的核心目标。 ## 拓展多智能体安全研究的前沿 尽管多智能体安全的基础框架已经存在，但这类系统的快速演进要求立即开展大规模扩展研究。 我们2025年的研究（https://arxiv.org/abs/2512.16856）建立了理解这些交互的框架，而最近关于AI Agent Traps（https://papers.ssrn.com/sol3/papers.cfm?abstract_id=6372438）的工作则探讨了智能体在对抗性环境中的脆弱性。现在，我们必须加速前行。我们正处于一个关键节点：多智能体交互的复杂性已超出现有安全模型的处理能力。 本次资助计划旨在通过支持一个全球独立研究网络来加速进展。多元化社区的参与对于确保安全标准对所有人透明且稳健至关重要。 这一努力也推动了Schmidt Sciences的*Science of Trustworthy AI*（https://www.schmidtsciences.org/trustworthy-ai/）和*AI Agents*（https://www.schmidtsciences.org/ai-agents/）项目，以及ARIA的*Scaling Trust*（https://aria.org.uk/opportunity-spaces/trust-everything-everywhere/scaling-trust/）计划——后者旨在解锁新型的物理-信息多智能体协调。 ## 合作行动呼吁 没有任何一家实验室能独自解决多智能体安全问题。我们邀请学术和独立研究人员在以下四个优先领域提交提案： - **沙箱和测试平台：** 构建真实、可复现的环境，以评估、比较并加速多智能体安全各领域的进展。这包括虚拟市场、模拟生态系统和多组织工作流。 - **智能体网络科学：** 理解交互智能体群体的安全相关属性，包括研究集体能力如何涌现和扩展、网络如何失效或变得不稳定，以及如何检测危险且意外的群体级特性。 - **强化智能体基础设施：** 对身份、声誉和承诺等跨平台安全智能体交互的协议进行压力测试。 - **监督与控制：** 开发方法来监控已部署的智能体群体，并在规模上减轻集体危害。 ## 如何参与 我们邀请研究人员查阅我们的提案征求书，并加入我们，共同为多智能体的未来奠定安全基础。 申请截止日期为2026年8月8日，资助结果预计于2026年秋季公布。 有关技术要求及申请流程的更多详情，请访问我们的申请门户（https://schmidtsciences.smapply.io/prog/scaling_ai_safety_for_a_multi_agent_world）。