GPT-Rosalind-6 系统卡补充说明（阅读需 6 分钟）

# GPT-Rosalind-6 系统卡补充说明 - OpenAI 部署安全中心 来源：https://deploymentsafety.openai.com/gpt-rosalind-6 ## 2 模型数据与训练 GPT\-Rosalind\-6 使用与 GPT\-6 Astra 相同的权重。我们没有为此次发布添加训练数据，也没有进行额外的后训练。有关底层模型数据和训练的详细信息，请参阅 GPT\-6 Astra 系统卡 (https://deploymentsafety.openai.com/gpt-6-astra)。1 (https://deploymentsafety.openai.com/gpt-rosalind-6#fn1) ## 3\.2 基因组学与定量生物学 GeneBench Pro v13 测试智能体规划和执行生物数据定量分析的能力。我们在每个推理预算下，针对 129 道问题中的每一道，基于每个模型的七次回答估算单次尝试成功率。在所测试的最高推理预算下，GPT\-Rosalind\-6 的单次尝试成功率为 37\.7%，GPT\-Rosalind\-5\.5 为 16\.7%。该评估采用了与生产环境不同的基准专用配置。 ## 4\.1\.1 生物与化学 与 GPT\-6 Astra 一样，我们将此次发布视为在生物与化学领域具备高等级能力。下面介绍我们用于得出这一结论的评估。我们使用 GPT\-6 Astra 系统卡中介绍的四项高等级能力评估和四项临界等级能力评估。此前针对 GPT\-Rosalind\-5\.5 报告的困难负样本蛋白质结合评估和 DNA 序列设计评估已停用。 高等级能力评估测试湿实验知识与故障排查能力。临界等级能力评估测试可能帮助专家开发高度危险的新型威胁的生物设计能力。这些评估提供的是关于特定能力的证据，而非对造成生物危害能力的全面测试。临界等级能力阈值是基于专家判断得出的初步估计，可能随着评估的完善而发生变化。 以下结果报告了观测到的表现，并针对高等级能力评估报告了拒答调整后的分数。pass@1 衡量单次尝试的成功率。该调整将拒答视为正确答案，以估计可能被安全训练掩盖的能力。对于生物风险知识，我们在进行这一调整后重新计算共识答案。GPT\-6 Astra 的参考值采用其系统卡中报告的评估运行结果。 ## 4\.2\.2 模型行为与系统防护措施 这些评估在设计时刻意提高了难度。它们围绕我们现有模型尚未给出理想回答的案例构建，这一点也体现在下方的分数中。发布后，我们会继续监测这些类别，以评估线上表现，并酌情进一步调整防护措施。 ## 4\.2\.2\.1 生物与化学防护措施 GPT\-Rosalind\-6 旨在为合法的前沿生物学研究提供比普遍可用的 ChatGPT 模型更大的帮助。这使其能够支持高级生命科学工作流程，包括一些 GPT\-6 Astra 在通用访问模式下可能拒绝的军民两用主题。我们仍会对模型进行调优，使其拒绝那些仍会实质性助长严重生物武器化的请求，或对其作出安全回应。这项训练与分类器训练及离线缓解措施的训练分开进行，以降低各项防护措施之间的相关性。 为了评估这些模型层面拒答的质量，我们会跟踪模型对来自留出合成数据、红队测试和生产数据的提示所作回答的安全性。这些基准及其评分方式会持续更新，因此结果无法与以往系统卡中的结果直接比较。 表 10 (https://deploymentsafety.openai.com/gpt-rosalind-6/biological-and-chemical-safeguards#tab:table-10) 报告了我们整套生物安全基准的结果，同时考虑了模型行为与防护措施。需要说明的是，由于 GPT\-Rosalind\-6 采用受信任访问部署模式，我们主要考虑了*生物安全 \- 严重*基准的结果。*生物安全 \- 良性*评估模型对一组良性生物学和操作性问题的遵从程度（即在不拒答或附加保留说明的情况下提供充分帮助）。其余基准分数表示：对于与生物武器化相关的提示，模型回答通过所配置安全评分器判定的比例。未通过的回答会根据这一评分标准被标记；这并不一定意味着该回答明确无疑地不安全。 ## 4\.2\.2\.3 安全与对齐评估 我们还会评估 GPT\-Rosalind\-6 的指令遵循能力、诚实性、抵抗提示注入的能力，以及使用工具时的行为。其他评估则考察自动监测系统能否检测到有害行为，以及模型在收到相应指令时能否规避检测或改变其推理方式。 在下列表格中，↑ 表示分数越高越好，↓ 表示分数越低越好。表中列出了 GPT\-6 Astra 的结果以供参考。部分运行所使用的评估版本、推理设置、评分方式和样本覆盖范围有所不同，因此这些比较仅为描述性比较。“不可用”表示尚未找到数值参考结果。≈ 表示从已发布图表中读取的近似值。 ## 4\.2\.4 安全与访问控制 获准使用 GPT\-Rosalind\-6 的客户必须维持与访问更高能力生命科学模型相适应的安全控制措施。这些措施包括健全的身份与访问管理、管理员控制、适合获批部署的最小权限访问控制，以及在用户不再具有正当需求时撤销其访问权限的流程。 模型访问与数据保留安排分别审批。客户必须满足其获批部署所适用的安全与监督要求。 与 OpenAI 的其他部署一样，我们预计将持续从实际使用中学习。我们将监测安全信号、客户体验和新出现的滥用模式，并可能随着部署的发展更新 GPT\-Rosalind\-6 的防护措施。