README_EN.md · openpangu/openPangu-2.0-Flash 主分支

来源：https://huggingface.co/openpangu/openPangu-2.0-Flash/blob/main/README_EN.md Tian-Fantasea 的头像

更新 LICENSE 链接

8fbe71f (https://huggingface.co/openpangu/openPangu-2.0-Flash/commit/8fbe71feea88b36e69184919954b18a2afe97ff2)

已验证

约 6 小时前

中文 (https://huggingface.co/openpangu/openPangu-2.0-Flash/blob/main/README.md) | English

1. 简介

openPangu-2.0-Flash 是一个基于 Ascend 训练的 MoE 模型。该模型总参数量为 92B，激活参数量为 6B，上下文长度为 512k。预训练总数据量为 34T tokens。在后训练阶段，openPangu-2.0-Flash 通过统一 SFT（结合慢思考与快思考能力）、多专家 RL 训练、以及结合多 RL 专家的在线蒸馏进行训练。

2. 架构

openPangu-2.0-Flash 引入了多项重大架构改进：

• 高效注意力机制：模型保留 MLA 以实现高效推理，并以 1:2 的层比例结合 DSA 和 SWA。SWA 层负责局部窗口建模，DSA 层捕获稀疏全局上下文。这种设计降低了长上下文推理的计算量、内存占用和内存访问成本，同时保持准确性。
• 残差拓扑：传统残差路径被替换为 4 流 mHC 设计，提升了表示多样性和泛化能力。
• 多 token 预测（MTP）：模型使用三个 MTP 头，每一步额外生成 3 个 token，通过自推测解码实现更快的推理。
• 优化器：训练采用 Muon 优化器以加快收敛。

3. 评估结果

4. 部署

• omni-infer：请参考 openPangu-2.0-Flash 部署指南
• 源代码仓库：openPangu-2.0-Infer

5. 模型许可

除非另有说明，openPangu-2.0-Flash 模型根据 OPENPANGU MODEL LICENSE AGREEMENT VERSION 2.0 的条款和条件进行许可，旨在以宽松的方式使用并促进人工智能技术的进一步发展。详情请参阅模型仓库根目录下的 LICENSE 文件 (https://huggingface.co/openpangu/openPangu-2.0-Flash/blob/main/LICENSE)。

6. 免责声明

由于 openPangu-2.0-Flash 模型（以下简称“模型”）所依赖的技术固有的局限性，以及人工智能生成内容是由模型自动生成的客观事实，华为无法对以下事项做出任何保证：

• 本模型的输出是通过 AI 算法自动生成的，不排除部分信息可能存在缺陷、不合理或引起不适的可能性，生成内容不代表华为的态度或立场；
• 不保证本模型 100% 准确、可靠、功能完整、及时、安全、无错误、连续稳定、无任何故障；
• 本模型的输出不构成对您的任何建议或决策，也不保证生成内容的真实性、完整性、准确性、时效性、合法性、功能性或实用性。生成内容不能替代医疗、法律等领域的专业人士回答您的问题。生成内容仅供您参考，不代表华为的任何态度、立场或意见。您需要根据自身实际情况做出独立判断，华为不承担任何责任。

7. 联系方式

如有任何问题，请提 issue 或通过 [email protected] (https://huggingface.co/openpangu/openPangu-2.0-Flash/tree/main/url) 联系我们。