华为开源OpenPangu-2.0-Flash - 总参数量92B，活跃参数量6B

Reddit r/LocalLLaMA 模型
huawei open-source pangu-model moe llm ai-model

摘要

华为开源OpenPangu-2.0-Flash，这是一个总参数量92B、活跃参数量6B的MoE模型，支持512K上下文，并附带推理代码和训练操作。

https://x.com/Chinazhidx/status/2071877413685109071 今日：#Huawei 开源 OpenPangu-2.0-Flash #OpenPangu 2.0 包含两个支持512K上下文的模型： • Flash：总参数量92B，活跃参数量6B — 已发布权重、推理代码和训练算子 • Pro：总参数量505B，活跃参数量18B — 旗舰模型，将于7月发布 今年晚些时候会有更多开源组件 https://preview.redd.it/29tji3noteah1.png?width=1446&format=png&auto=webp&s=836b711cc97c5efb3d37126105a11a7d20c49ca2 https://x.com/CalatheaAI/status/2071917592810496273
查看原文

相似文章

README_EN.md · openpangu/openPangu-2.0-Flash at main

Reddit r/LocalLLaMA

openPangu-2.0-Flash 是一个拥有920亿参数（其中60亿激活参数）的MoE模型，基于昇腾训练，支持512k上下文长度并具备快速思考能力。它在推理和编码基准测试上表现强劲，采用了MLA注意力及多令牌预测等架构创新。

华为发布 openPangu 2.0（将于6月30日开源）

Reddit r/LocalLLaMA

华为宣布推出 openPangu 2.0，这是一个开源大模型，总参数量 505B，稀疏比 28:1，针对昇腾计算和鸿蒙进行了优化，核心组件将于 6 月 30 日起逐步开源。