华为开源OpenPangu-2.0-Flash - 总参数量92B,活跃参数量6B
摘要
华为开源OpenPangu-2.0-Flash,这是一个总参数量92B、活跃参数量6B的MoE模型,支持512K上下文,并附带推理代码和训练操作。
https://x.com/Chinazhidx/status/2071877413685109071
今日:#Huawei 开源 OpenPangu-2.0-Flash #OpenPangu 2.0 包含两个支持512K上下文的模型:
• Flash:总参数量92B,活跃参数量6B — 已发布权重、推理代码和训练算子
• Pro:总参数量505B,活跃参数量18B — 旗舰模型,将于7月发布
今年晚些时候会有更多开源组件
https://preview.redd.it/29tji3noteah1.png?width=1446&format=png&auto=webp&s=836b711cc97c5efb3d37126105a11a7d20c49ca2
https://x.com/CalatheaAI/status/2071917592810496273
相似文章
华为发布 openPangu 2.0(将于6月30日开源)
华为宣布推出 openPangu 2.0,这是一个开源大模型,总参数量 505B,稀疏比 28:1,针对昇腾计算和鸿蒙进行了优化,核心组件将于 6 月 30 日起逐步开源。
ascend-tribe/openPangu-2.0-Flash(他们尚未上传至HuggingFace)
openPangu-2.0-Flash 是一个 92B MoE 模型,激活参数为 6B,上下文长度为 512k,在昇腾上使用 34T tokens 训练,融合了慢速/快速思维以及多个RL训练阶段。
@sheriyuo: 行业内首个万亿参数模型,在五万GPU中国集群上完成端到端训练与推理
美团发布了LongCat-2.0,一个1.6万亿参数的MoE模型,支持100万上下文,声称是首个在五万GPU中国集群上训练的模型,现已在OpenRouter上用于智能编码。
@witcheer: 难以置信 gpt-oss-20b 在 8GB 显存上的表现。21B 总参数,3.6B 活跃参数(MoE)。OpenAI,Apache 2.0。仅使用 1.8 GB 显存…
一个全新的开源 MoE 模型,gpt-oss-20b(总共 21B,活跃 3.6B),仅需 1.8GB 显存即可运行,并在代理编程任务上获得满分,性能优于其他本地模型(如 Gemma 和 Qwen)。
@FeitengLi: OpenBMB 开源 MiniCPM-V 4.6 了,1.3B 参数(SigLIP2-400M + Qwen3.5-0.8B),262k 上下文,视觉编码 FLOPs 比上一代少 50%+。 同任务 token 成本比 Qwen3.5-0…
OpenBMB releases MiniCPM-V 4.6, a 1.3B-parameter multimodal LLM with 262k context and significantly reduced visual encoding FLOPs, achieving strong benchmark performance and broad inference framework support.