LongCat-2.0,大规模MoE模型,总参数量1.6万亿,激活参数480亿
摘要
LongCat-2.0是一个大规模混合专家(MoE)模型,总参数量1.6万亿,激活参数量480亿。
暂无内容
相似文章
@Meituan_LongCat:介绍 LongCat-2.0 1.6万亿参数 · MoE 约480亿活跃参数 · 100万上下文。这是 Owl Alpha 在 @OpenRouter 背后的完整模型…
Meituan 推出 LongCat-2.0,一个拥有 1.6万亿参数的 MoE 模型,约480亿活跃参数,支持100万上下文。该模型采用了 LongCat Sparse Attention 和 Zero-Compute Experts 等新颖架构,在编码和推理任务的基准测试中取得了优异成绩。
@sheriyuo: 行业内首个万亿参数模型,在五万GPU中国集群上完成端到端训练与推理
美团发布了LongCat-2.0,一个1.6万亿参数的MoE模型,支持100万上下文,声称是首个在五万GPU中国集群上训练的模型,现已在OpenRouter上用于智能编码。
@eliebakouch: 该模型引入的新型稀疏注意力方法基本上是对现有方法组件的组合……
美团推出了 LongCat-2.0,这是一个 1.6 万亿参数的 MoE 模型,拥有 480 亿活跃参数和 100 万上下文长度,采用了新的 LongCat 稀疏注意力(LSA)方法,该方法结合了现有稀疏注意力技术的组件。
LongCat-Video 技术报告
LongCat-Video 是一个基于 Diffusion Transformer 的 13.6B 参数视频生成模型,支持文生视频、图生视频和视频续写任务,通过粗细粒度结合与分块稀疏注意力实现高效的长视频生成。
AI2推出的新MoE模型:EMO
AI2发布了EMO,一个混合专家(MoE)语言模型,总参数量14B,其中1B活跃参数,基于1万亿tokens训练,并采用文档级路由,即专家会按领域(如健康、新闻等)进行聚类。