华为发布 openPangu 2.0(将于6月30日开源)

Reddit r/LocalLLaMA 模型

摘要

华为宣布推出 openPangu 2.0,这是一个开源大模型,总参数量 505B,稀疏比 28:1,针对昇腾计算和鸿蒙进行了优化,核心组件将于 6 月 30 日起逐步开源。

在6月12日举行的华为开发者大会(HDC 2026)上,华为常务董事余承东正式发布了全新的开源大模型——openPangu 2.0。该模型完全适配鸿蒙生态系统,并在昇腾算力上实现了深度优化和性能突破。openPangu 2.0 支持 512K 上下文处理能力,并提供两个版本以适应不同应用场景。它创下了千亿参数类别中最大的稀疏比记录,达到 28:1: - openPangu 2.0 Pro:总参数量:505B;激活参数量:18B。 - openPangu 2.0 Flash:总参数量:92B;激活参数量:6B。 根据会议演示和现场展示,openPangu 2.0 在吞吐量、延迟和任务处理方面实现了全面升级: * 针对昇腾算力深度优化,单卡用户吞吐量高达行业主流开源模型的 2 倍。 * 基于昇腾原生训练,超节点优化训练效率提升 30%,512K 长序列训练吞吐量提升 50%,训练一致性超过 99%。 * 采用高精度架构(mHC | Muon | ModAttn),并首创 DSA+SWA 独立分层混合架构(超稀疏注意力),实现更精确的算力分配。 华为宣布将于 6 月 30 日起逐步开源 openPangu 2.0 的核心组件,全面赋能开发者: 基础组件:模型架构、模型权重、技术报告和推理代码。 新开源组件:预训练代码、后训练代码和训练算子。 针对外界对 2.0 Pro 版本 505B 总参数量的关注,余承东在会上解释,这一设计是由于华为将大量算力分配给支持其他中国企业需求,留给自身的算力有限。此外,考虑到 AI 算力的高昂成本,华为当前策略更侧重于在延迟和吞吐率上实现显著提升。(使用了 Nano banana 2 将图片翻译成英文)
查看原文

相似文章

README_EN.md · openpangu/openPangu-2.0-Flash at main

Reddit r/LocalLLaMA

openPangu-2.0-Flash 是一个拥有920亿参数(其中60亿激活参数)的MoE模型,基于昇腾训练,支持512k上下文长度并具备快速思考能力。它在推理和编码基准测试上表现强劲,采用了MLA注意力及多令牌预测等架构创新。