@YRSM_Simon: 太厉害了

X AI KOLs Timeline 2026/09/14 00:39 新闻

deepseek optimization a100-gpu performance api-speed ai-inference

摘要

shi3z分享在不支持FP4的A100 GPU上运行DeepSeek v4.1 Flash的优化经验，将推理速度从33 tok/s提升至673 tok/s，超过官方API速度。

太厉害了

查看原文

查看缓存全文

缓存时间: 2026/09/14 01:16

shi3z (@shi3z): 写了超过一万字。为了运行DeepSeek v4.1 Flash，我将不支持FP4的A100显卡性能从33 tok/s提升到了673 tok/s。等我反应过来时，发现速度已经比官方API还快了。 |shi3z @shi3z

相似文章

Reddit r/LocalLLaMA

有人优化了DeepSeek V4.1，使其在NVIDIA A100 GPU上的运行速度超过了官方API，尽管A100不支持FP4精度，并将实现分享在GitHub上。

X AI KOLs Timeline

DeepSeek 发布 DeepSeek-V4.1-Flash-1017，作为 DeepSeek-V4.1-Flash 的小幅更新，在推理、编码、智能体任务与视觉基准上均有提升，同时缩短执行时间与输出长度，进一步优化性能-成本帕累托前沿。

X AI KOLs Timeline

有网友对 DeepSeek V4.1 Flash 的发布和表现表示惊讶，认为其性能表现非常强劲，引发社区讨论。

Reddit r/LocalLLaMA

用户分享了在 RTX 5090 上使用 llama.cpp 的一个分支运行 DeepSeek-V4-Flash (Q2_K) 的优化基准测试结果，实现了 21.3 token/秒的生成速度和 100 万上下文大小。

Reddit r/LocalLLaMA

nazeshinjite 发布了 DeepSeek V4.1 Flash 1017 的 3.91bpw GGUF 量化版本，面向 antirez 的 DwarfStar (ds4) 推理引擎，采用 SSD 流式加载，可在 128GB Mac 上以最高 20tps 解码。