推出 gpt-oss

# 介绍 gpt-oss 来源：https://openai.com/index/introducing-gpt-oss/ 我们正式发布 gpt-oss-120b 和 gpt-oss-20b——两款最先进的开放权重语言模型，在低成本的同时提供强大的实际应用性能。这些模型采用灵活的 Apache 2.0 许可证，在推理任务上的表现优于同等规模的开源模型，展现了强大的工具使用能力，并针对在消费级硬件上的高效部署进行了优化。这些模型采用强化学习和受 OpenAI 最先进内部模型（包括 o3 和其他前沿系统）启发的技术进行训练。 gpt-oss-120b 模型在核心推理基准上接近与 OpenAI o4-mini 的性能水平，同时可以高效运行在单个 80GB GPU 上。gpt-oss-20b 模型在常见基准上的表现与 OpenAI o3-mini 相当，仅需 16GB 内存即可在边缘设备上运行，非常适合设备端用例、本地推理或快速迭代，无需昂贵的基础设施。两款模型在工具使用、少样本函数调用、思维链推理（CoT）（如 Tau-Bench 智能体评估套件的结果所示）和 HealthBench 上的表现也很强劲，甚至超越了 OpenAI o1 和 GPT-4o 等专有模型。 这些模型与我们的 Responses API（https://platform.openai.com/docs/api-reference/responses）兼容，并设计用于智能体工作流中，具有出色的指令遵循能力、网络搜索或 Python 代码执行等工具使用能力，以及推理能力——包括针对不需要复杂推理和/或目标超低延迟最终输出的任务调整推理力度的能力。这些模型完全可定制，提供完整的思维链（CoT），并支持结构化输出（https://platform.openai.com/docs/guides/structured-outputs?api-mode=responses）。 安全性是我们发布所有模型方法的基础，对开源模型尤为重要。除了对模型进行全面的安全训练和评估外，我们还引入了额外的评估层，通过在我们的准备框架（https://cdn.openai.com/pdf/18a02b5d-6b67-4cec-ab64-68cdfbddebcd/preparedness-framework-v2.pdf）下测试对抗性微调版本的 gpt-oss-120b。gpt-oss 模型在内部安全基准上的表现与我们的前沿模型相当，为开发者提供与我们最新专有模型相同的安全标准。我们在研究论文（https://cdn.openai.com/pdf/231bf018-659a-494d-976c-2efdfc72b652/oai_gpt-oss_Model_Safety.pdf）和模型卡（https://arxiv.org/abs/2508.10925）中分享了这项工作的成果和更多细节。我们的方法已接受外部专家审查，标志着为开放权重模型设定新安全标准的进一步发展。 我们还与 AI Sweden（https://www.ai.se/en）、Orange（https://www.orange.com/en）和 Snowflake（https://www.snowflake.com/en/）等早期合作伙伴合作，了解我们开源模型的实际应用，从在本地托管这些模型以确保数据安全，到在专业数据集上对其进行微调。我们很高兴能为每个人——从个人开发者到大型企业再到政府——提供这些一流的开源模型，使他们能够在自己的基础设施上运行和定制 AI。结合我们 API 中提供的模型，开发者可以选择他们需要的性能、成本和延迟来驱动 AI 工作流。 gpt-oss 模型采用我们最先进的预训练和后训练技术进行训练，特别关注推理、效率和跨各种部署环境的实际可用性。虽然我们以前已经开源了其他模型，包括 Whisper（https://openai.com/index/whisper/）和 CLIP（https://openai.com/index/clip/），但 gpt-oss 模型是我们自 GPT-2 以来首个开放权重语言模型[1]。 每个模型都是一个 Transformer，利用混合专家（MoE）[2] 来减少处理输入所需的活跃参数数量。gpt-oss-120b 每个 token 激活 5.1B 参数，而 gpt-oss-20b 激活 3.6B 参数。这两个模型的总参数数分别为 117b 和 21b。这些模型使用交替的密集和局部带状稀疏注意力模式，类似于 GPT-3[3]。为实现推理和内存效率，这些模型还使用分组多查询注意力，组大小为 8。我们使用旋转位置嵌入（RoPE）[4] 进行位置编码，并原生支持高达 128k 的上下文长度。 我们在主要由英文文本组成的数据集上训练这些模型，重点关注 STEM、编码和常识知识。我们使用 o200k_harmony 对数据进行分词化，这是我们为 OpenAI o4-mini 和 GPT-4o 使用的分词器的超集，我们今天也开源了它。 这些模型使用与 o4-mini 类似的流程进行后训练，包括监督微调阶段和高计算 RL 阶段。我们的目标是使模型与 OpenAI 模型规范（https://cdn.openai.com/spec/model-spec-2024-05-08.html）保持一致，并教其在生成答案前应用思维链推理（https://openai.com/index/learning-to-reason-with-llms/）和工具使用。通过使用与我们最先进专有推理模型相同的技术，这些模型在后训练后展现了卓越的能力。 与 API 中的 OpenAI o 系列推理模型类似，这两个开放权重模型支持三个推理力度——低、中和高——在延迟和性能之间进行权衡。开发者可以通过系统提示中的一句话轻松设置推理力度。 我们在标准学术基准上评估了 gpt-oss-120b 和 gpt-oss-20b，测量其在编码、竞赛数学、健康和智能体工具使用方面的能力，并与包括 o3、o3-mini 和 o4-mini 在内的其他 OpenAI 推理模型进行比较。 gpt-oss-120b 在竞赛编程（Codeforces）、通用问题解决（MMLU 和 HLE）和工具调用（TauBench）上的表现优于 OpenAI o3-mini，并与或超过 OpenAI o4-mini。它在健康相关查询（HealthBench（https://openai.com/index/healthbench/））和竞赛数学（AIME 2024 & 2025）上的表现甚至比 o4-mini 更好。gpt-oss-20b 在这些相同的评估上与或超过 OpenAI o3-mini，尽管其规模较小，甚至在竞赛数学和健康方面表现超过了它。 *gpt-oss 模型不能替代医疗专业人士，也不打算用于疾病的诊断或治疗* 我们最近的研究（https://openai.com/index/chain-of-thought-monitoring/）表明，监控推理模型的 CoT 有助于检测不当行为，只要模型没有通过直接监督进行 CoT 对齐训练。业界其他人士也持有相同的看法（https://arxiv.org/html/2507.11473v1）。按照我们自推出 OpenAI o1-preview（https://openai.com/index/introducing-openai-o1-preview/）以来的原则，我们对两个 gpt-oss 模型都没有对 CoT 进行任何直接监督。我们认为这对于监控模型不当行为、欺骗和滥用至关重要。我们希望发布一个具有无监督思维链的开源模型，能让开发者和研究人员有机会研究和实现他们自己的 CoT 监控系统。 开发者不应在应用中直接向用户展示 CoT。它们可能包含幻觉或有害内容，包括不反映 OpenAI 标准安全政策的语言，以及可能包含模型明确被要求不包含在最终输出中的信息。 gpt-oss 模型利用我们最先进的安全训练方法。在预训练期间，我们过滤掉了与化学、生物、放射性和核（CBRN）相关的某些有害数据。在后训练期间，我们使用了深思熟虑的对齐（https://openai.com/index/deliberative-alignment/）和指令层级（https://arxiv.org/abs/2404.13208）来教模型拒绝不安全的提示并防御提示注入。 一旦开放权重模型被发布，对手可能能够对该模型进行微调用于恶意目的。我们通过在专业的生物学和网络安全数据上微调模型，为每个领域创建特定领域的非拒绝版本，就像攻击者可能做的那样，直接评估了这些风险。然后我们通过内部和外部测试评估了这些模型的能力水平。这项测试（如我们附随的安全论文（https://openai.com/index/estimating-worst-case-frontier-risks-of-open-weight-llms/）所详述）表明，即使利用 OpenAI 领先的训练堆栈进行了强大的微调，这些恶意微调的模型也无法根据我们的准备框架（https://openai.com/index/updating-our-preparedness-framework/）达到高能力水平。这种恶意微调方法由三个独立的专家小组进行了审查，他们提出了改进训练流程和评估的建议，我们采纳了其中许多建议。我们在模型卡中详细说明了这些建议。这些流程标志着开源模型安全的有意义进步。这些发现为我们决定发布 gpt-oss 模型提供了参考。我们希望这些模型能帮助加快整个行业的安全训练和对齐研究。 为了为更安全的开源生态系统做贡献，我们正在举办一场红队挑战赛（https://www.kaggle.com/competitions/openai-gpt-oss-20b-red-teaming/），鼓励来自世界各地的研究人员、开发者和爱好者帮助识别新的安全问题。该挑战赛设有 50 万美元奖金基金，将根据来自 OpenAI 和其他顶级实验室专家评审团的评审进行颁发。在挑战赛结束时，我们将发布一份报告，并开源一个基于已验证发现的评估数据集，以便更广泛的社区能够立即受益。在此（https://www.kaggle.com/competitions/openai-gpt-oss-20b-red-teaming/）了解更多信息并参与。 gpt-oss-120b 和 gpt-oss-20b 的权重在 Hugging Face 上免费提供下载，并原生采用 MXFP4 量化。这使得 gpt-oss-120B 模型可以在 80GB 内存内运行，而 gpt-oss-20b 仅需 16GB。 这些模型已在我们的 harmony 提示格式（https://cookbook.openai.com/articles/openai-harmony）上进行后训练，我们正在开源 Python 和 Rust 中的 harmony 渲染器（https://github.com/openai/harmony）以简化采用。我们还发布了使用 PyTorch 运行推理的参考实现以及在 Apple Metal 平台上运行推理的参考实现，以及模型的一系列示例工具。 我们设计这些模型具有灵活性和易用性，可以在任何地方运行——本地、设备端或通过第三方推理提供商。为支持这一点，我们在发布前与 Azure、Hugging Face、vLLM、Ollama、llama.cpp、LM Studio、AWS、Fireworks、Together AI、Baseten、Databricks、Vercel、Cloudflare 和 OpenRouter 等领先部署平台进行了合作，使开发者能够广泛获得这些模型。在硬件方面，我们与 NVIDIA、AMD、Cerebras 和 Groq 等行业领导者合作，确保在各种系统上的优化性能。 作为今天发布的一部分，Microsoft 也为 Windows 设备带来了 gpt-oss-20b 模型的 GPU 优化版本。由 ONNX Runtime 提供支持，这些模型支持本地推理，并可通过 Foundry Local 和 VS Code 的 AI Toolkit 获得，使 Windows 开发者能够更轻松地使用开源模型进行构建。 对于希望获得完全可定制模型的开发者，他们可以在自己的环境中微调和部署，gpt-oss 是一个不错的选择。对于那些寻求多模态支持、内置工具和与我们平台无缝集成的人，通过我们 API 平台提供的模型仍然是最佳选择。我们继续密切听取开发者反馈，可能会在未来考虑对 gpt-oss 的 API 支持。 发布 gpt-oss-120b 和 gpt-oss-20b 标志着开放权重模型的重大进步。在这个规模上，这些模型在推理能力和安全性方面都取得了有意义的进步。开放模型补充了我们的托管模型，为开发者提供了更广泛的工具来加速前沿研究、促进创新，以及在广泛的用例中实现更安全、更透明的 AI 开发。 这些开源模型也为新兴市场、资源受限的部门和可能缺乏预算或灵活性来采用专有模型的较小组织降低了门槛。拥有强大、易获得的工具，世界各地的人们可以构建、创新，并为自己和他人创造新的机遇。在美国创造的功能强大、易获得的开放权重模型的广泛获取有助于扩展民主 AI 护栏。 健康的开源模型生态系统是帮助使 AI 广泛获得和对所有人都有益的一个方面。我们邀请开发者和研究人员使用这些模型进行实验、协作和推动可能性的边界。我们期待看到你的创作。