华为发布 openPangu 2.0(将于6月30日开源)
摘要
华为宣布推出 openPangu 2.0,这是一个开源大模型,总参数量 505B,稀疏比 28:1,针对昇腾计算和鸿蒙进行了优化,核心组件将于 6 月 30 日起逐步开源。
在6月12日举行的华为开发者大会(HDC 2026)上,华为常务董事余承东正式发布了全新的开源大模型——openPangu 2.0。该模型完全适配鸿蒙生态系统,并在昇腾算力上实现了深度优化和性能突破。openPangu 2.0 支持 512K 上下文处理能力,并提供两个版本以适应不同应用场景。它创下了千亿参数类别中最大的稀疏比记录,达到 28:1:
- openPangu 2.0 Pro:总参数量:505B;激活参数量:18B。
- openPangu 2.0 Flash:总参数量:92B;激活参数量:6B。
根据会议演示和现场展示,openPangu 2.0 在吞吐量、延迟和任务处理方面实现了全面升级:
* 针对昇腾算力深度优化,单卡用户吞吐量高达行业主流开源模型的 2 倍。
* 基于昇腾原生训练,超节点优化训练效率提升 30%,512K 长序列训练吞吐量提升 50%,训练一致性超过 99%。
* 采用高精度架构(mHC | Muon | ModAttn),并首创 DSA+SWA 独立分层混合架构(超稀疏注意力),实现更精确的算力分配。
华为宣布将于 6 月 30 日起逐步开源 openPangu 2.0 的核心组件,全面赋能开发者:
基础组件:模型架构、模型权重、技术报告和推理代码。
新开源组件:预训练代码、后训练代码和训练算子。
针对外界对 2.0 Pro 版本 505B 总参数量的关注,余承东在会上解释,这一设计是由于华为将大量算力分配给支持其他中国企业需求,留给自身的算力有限。此外,考虑到 AI 算力的高昂成本,华为当前策略更侧重于在延迟和吞吐率上实现显著提升。(使用了 Nano banana 2 将图片翻译成英文)
相似文章
华为开源OpenPangu-2.0-Flash - 总参数量92B,活跃参数量6B
华为开源OpenPangu-2.0-Flash,这是一个总参数量92B、活跃参数量6B的MoE模型,支持512K上下文,并附带推理代码和训练操作。
@seclink: 最近有个华为新闻发布会 ,盘古大模型要重新出山了. 6月20日开源权重,估计 claude 和 gpt 都要靠边站, 世界第一的大模型即将诞生?
华为新闻发布会宣布盘古大模型将重新出山,计划于6月20日开源权重,号称可能超越Claude和GPT成为世界第一。
ascend-tribe/openPangu-2.0-Flash(他们尚未上传至HuggingFace)
openPangu-2.0-Flash 是一个 92B MoE 模型,激活参数为 6B,上下文长度为 512k,在昇腾上使用 34T tokens 训练,融合了慢速/快速思维以及多个RL训练阶段。
README_EN.md · openpangu/openPangu-2.0-Flash at main
openPangu-2.0-Flash 是一个拥有920亿参数(其中60亿激活参数)的MoE模型,基于昇腾训练,支持512k上下文长度并具备快速思考能力。它在推理和编码基准测试上表现强劲,采用了MLA注意力及多令牌预测等架构创新。
@zheanxu: DeepGEMM Ascend 现已开源。我们在 GEMM 上达到硬件极限的 99.8%,MegaMoE 达到 98%。
DeepSeek 开源了 DeepGEMM Ascend,将 DeepGEMM 移植到华为昇腾平台,API 完全兼容并支持 BF16/FP8/FP4 GEMM、MQA logits 和 MegaMoE 算子,在 GEMM 上达到硬件性能极限的 99.8%、MegaMoE 达 98%。