DeepSeek 训练 2T 模型并规划 8T 模型

Reddit r/LocalLLaMA 新闻

摘要

DeepSeek 正在训练一个 2 万亿参数的 AI 模型,并计划最终构建一个 8 万亿参数的模型。

引用:DeepSeek 正在训练一个 2T 参数模型,并计划最终构建一个 8T 参数模型。 https://x.com/wallstengine/status/2101982843656388644 当前 DeepSeek 模型:Flash 参数量为 5520 亿;Pro:总计 1.6 万亿参数,每个 token 激活 490 亿权重;Mythos / Fable 估计为 10 万亿参数。
查看原文

相似文章

DeepSeek 推出视觉功能

Hacker News Top

DeepSeek 宣布推出新的视觉功能,很可能是一个视觉语言模型,拓展其人工智能服务。

deepseek-ai/DeepSeek-V4-Pro-DSpark

Hugging Face Models Trending

DeepSeek 发布了其 V4 系列的预览版本,包括 DeepSeek-V4-Pro(1.6T 参数,49B 激活)和 DeepSeek-V4-Flash(284B 参数,13B 激活),两者均支持百万 Token 上下文,并采用混合注意力、流形约束超连接和 Muon 优化器。

DeepSeek-V3 技术报告

Papers with Code Trending

DeepSeek-V3 是一个参数高效的混合专家(MoE)语言模型,总参数为 671B,在训练仅需 2.788M H800 GPU 小时的情况下,实现了与领先闭源模型相当的性能。