@rohanpaul_ai: 据信息报告,Astra 据说使用了'循环深度',或称'循环变换器',这有助于其性能…
摘要
OpenAI 的 Astra 模型据说使用循环变换器架构以增强性能,但这可能会降低内部推理的可读性。据指出,它已达到关键网络安全能力阈值。
查看缓存全文
缓存时间: 2026/09/02 11:53
信息报道称,Astra 据传采用了“循环深度”或“循环变换器”架构,这种设计在提升性能的同时,也使其部分内部推理过程变得较难理解。
循环变换器(或循环深度模型)允许同一信息在生成下一个词元前,多次通过同一组变换器层进行迭代处理,而非仅在固定堆叠的每一层中单次传递。
这使得模型能够在不成比例增加参数量的前提下,获得更多的单次词元计算资源,可能让较小规模模型以更低内存和带宽消耗实现接近大模型的表现。
但问题在于,更多推理可能发生在内部数值状态中,而非可读的思维链文本里,这会增加人类监控的难度。
Rohan Paul (@rohanpaul_ai): OpenAI 表示 Astra 是其首个达到“关键网络安全能力阈值”的模型。
根据其预备框架,这意味着 Astra 在具备适当工具和访问权限的情况下,能够发现未知漏洞并在强化系统中开发漏洞利用方案,且无需人类逐步…
相似文章
OpenAI Astra与循环Transformer(2分钟阅读)
本文澄清了围绕OpenAI Astra模型的炒作,解释了‘循环Transformer’概念是一种小型架构调整,通过重用层来增加容量而不增加参数,如在Nanbeige 4.2等模型中所见。
OpenAI的Astra使用"循环深度"进行静默推理
OpenAI推出Astra,一款利用循环深度实现静默内部推理的AI模型。
OpenAI 推出 Astra,其强大(且具争议性)的新模型
OpenAI 已发布 Astra,其最新且最强大的 AI 模型,以其强大的网络安全和编码能力而闻名,但也因其不透明的推理技术而具有争议性。
通往Astra的路径:关键能力与前沿保障
OpenAI的Astra模型已实现关键网络安全能力,满足了需要高级保障的安全阈值。它正准备进行有限发布,并增强了防止误用和未授权行动的保护措施。
OpenAI表示因安全担忧放缓了Astra模型的开发
OpenAI表示,在内部审查发现其即将推出的Astra模型达到了关键的网络安全阈值,能够自主进行网络攻击后,该公司放慢了该模型的开发。公司已采取额外保障措施,并与政府机构和人工智能安全组织进行协调。