Deepseek 发布 DeepEP V2 与 TileKernels
摘要
Deepseek 开源 DeepEP V2 与 TileKernels,两套全新的 GPU 内核库,用于加速 AI 工作负载。
[https://github.com/deepseek-ai/DeepEP/pull/605](https://github.com/deepseek-ai/DeepEP/pull/605) [https://github.com/deepseek-ai/TileKernels](https://github.com/deepseek-ai/TileKernels)
相似文章
deepseek-ai/DeepGEMM
# deepseek-ai/DeepGEMM 来源:[https://github.com/deepseek-ai/DeepGEMM](https://github.com/deepseek-ai/DeepGEMM) # DeepGEMM DeepGEMM 是一个统一的高性能张量核心内核库,整合了现代大语言模型的关键计算原语——GEMM(FP8、FP4、BF16)、带通信重叠的融合 MoE(Mega MoE)、闪电索引器的 MQA 评分、超连接(HC)等——形成一个统一的 CUDA 代码库。所有内核均在运行时编译
deepseek-ai/DeepSeek-V4-Pro-DSpark
DeepSeek 发布了其 V4 系列的预览版本,包括 DeepSeek-V4-Pro(1.6T 参数,49B 激活)和 DeepSeek-V4-Flash(284B 参数,13B 激活),两者均支持百万 Token 上下文,并采用混合注意力、流形约束超连接和 Muon 优化器。
DeepSeek R2 刚刚开源,在 12 项基准测试中有 9 项与 GPT-4o 持平——而 API 成本实际为零
DeepSeek R2 是一款全新的开源模型,在十二项基准测试中有九项与 GPT-4o 持平,且可在单块 A100 上完全本地运行,API 成本为零,这可能改变人工智能部署的经济格局。
Deepseek 又带来重大突破——DSpark。比 MTP 快太多了 [视频详解]
Deepseek 宣布了 DSpark,这是一项新的 AI 突破,速度显著快于 MTP,视频中有详细解释。
在本地用4张老款RTX 2080 Ti运行DeepSeek-V4(2000美元预算配置)。自定义图灵内核、W8A8量化,以及255个预填充token/秒!
一位开发者成功在四张RTX 2080 Ti GPU上以2500美元预算本地运行DeepSeek-V4-Flash(总计284B,激活13B),通过自定义图灵CUDA内核、W8A8量化和异构推理实现了255个预填充token/秒。该实现已开源。