LongCat-2.0,大规模MoE模型,总参数量1.6万亿,激活参数480亿

Hacker News Top 模型

摘要

LongCat-2.0是一个大规模混合专家(MoE)模型,总参数量1.6万亿,激活参数量480亿。

暂无内容
查看原文

相似文章

LongCat-Video 技术报告

Papers with Code Trending

LongCat-Video 是一个基于 Diffusion Transformer 的 13.6B 参数视频生成模型,支持文生视频、图生视频和视频续写任务,通过粗细粒度结合与分块稀疏注意力实现高效的长视频生成。

AI2推出的新MoE模型:EMO

Reddit r/LocalLLaMA

AI2发布了EMO,一个混合专家(MoE)语言模型,总参数量14B,其中1B活跃参数,基于1万亿tokens训练,并采用文档级路由,即专家会按领域(如健康、新闻等)进行聚类。