华为开源OpenPangu-2.0-Flash - 总参数量92B,活跃参数量6B

Reddit r/LocalLLaMA 模型

摘要

华为开源OpenPangu-2.0-Flash,这是一个总参数量92B、活跃参数量6B的MoE模型,支持512K上下文,并附带推理代码和训练操作。

https://x.com/Chinazhidx/status/2071877413685109071 今日:#Huawei 开源 OpenPangu-2.0-Flash #OpenPangu 2.0 包含两个支持512K上下文的模型: • Flash:总参数量92B,活跃参数量6B — 已发布权重、推理代码和训练算子 • Pro:总参数量505B,活跃参数量18B — 旗舰模型,将于7月发布 今年晚些时候会有更多开源组件 https://preview.redd.it/29tji3noteah1.png?width=1446&format=png&auto=webp&s=836b711cc97c5efb3d37126105a11a7d20c49ca2 https://x.com/CalatheaAI/status/2071917592810496273
查看原文

相似文章

华为发布 openPangu 2.0(将于6月30日开源)

Reddit r/LocalLLaMA

华为宣布推出 openPangu 2.0,这是一个开源大模型,总参数量 505B,稀疏比 28:1,针对昇腾计算和鸿蒙进行了优化,核心组件将于 6 月 30 日起逐步开源。