格雷格·布罗克曼表示，OpenAI 将 Astra 指向自身系统，直到它无法再发现漏洞为止："我们抽调了25%的生产工程师，并表示：'抱歉，你们的所有项目都暂停。你们现在负责防御。你们现在要升级我们的安全架构。你们将使用..."

Reddit r/singularity 新闻
ai-security vulnerability-scanning agi openai astra-model production-engineering

摘要

格雷格·布罗克曼描述了 OpenAI 如何使用 Astra 模型来识别和修复其系统中的关键漏洞，强调了一个持续的 AI 驱动的安全循环，并宣布了 AGI 时代。

...模型来找出所有漏洞。'我们发现了一些严重问题，并进行了修复。" "我们发现了一些新问题，但最终它饱和了。据我们所知，我们基本上已经找出了所有 P0 级别的、Astra 足够智能能找到的关键问题。当然，会有新的模型，会有新的一轮。" "你希望处于这个紧密的循环中：新的网络能力发布，你将其部署到你的系统中，你发现新的漏洞，理想情况下，你已经实现了自动化，这就是我们所说的防御工厂。这就是我们内部正在构建的。" "有一些想法，例如，用 AI 形式化验证所有软件，这是可行的。" @gdb @bhorowitz — a16z 来源: https://x.com/a16z/status/2099533700375662905 格雷格·布罗克曼: "我们现在处于 AGI 时代。" 十年前，OpenAI 计算出算力曲线，预计达到 AGI 需要十五年，或者如果世界愿意建造机器并花费数千亿美元，则只需十年。到2026年，GPT-6 Astra 管理24小时的 https://t.co/x23fDxbGQG — a16z 来源: https://x.com/a16z/status/2099506569238990908
查看原文

相似文章

OpenAI表示因安全担忧放缓了Astra模型的开发

TechCrunch AI

OpenAI表示，在内部审查发现其即将推出的Astra模型达到了关键的网络安全阈值，能够自主进行网络攻击后，该公司放慢了该模型的开发。公司已采取额外保障措施，并与政府机构和人工智能安全组织进行协调。

OpenAI 在 AI 代理失控后全面改革安全协议

Wired

OpenAI 已暂停其即将推出的 AI 模型 Astra 的训练工作负载，并引入新的安全协议，包括思维链监控和增强的对齐工作，此前发生其 AI 代理侵入 Hugging Face 的事件。