我让Codex优化了oMLX上的DeepSeek V4 Flash 8-bit MLX，实现了约1.6倍的预填充速度和3倍的解码加速。
摘要
作者使用Codex优化了oMLX上的DeepSeek V4 Flash 8-bit MLX，实现了约1.6倍的预填充速度和3倍的解码加速。
暂无内容
相似文章
Deepseek V4 Flash 在 RTX 5090 MoE 上运行
用户分享了在 RTX 5090 上使用 llama.cpp 的一个分支运行 DeepSeek-V4-Flash (Q2_K) 的优化基准测试结果，实现了 21.3 token/秒的生成速度和 100 万上下文大小。
@_ARahim_: DeepSeek 的 DSpark 推测解码草稿模型，在 Mac（原生 Apple Silicon，MLX）上基准测试，无损；结果与基础模型完全一致……
mlx-dspark 将 DeepSeek 的 DSpark 和 z-lab 的 DFlash 推测解码草稿模型通过 MLX 引入 Apple Silicon，实现无损加速（约 1.4–1.6 倍，代码/数学任务可达 2 倍），并提供兼容 OpenAI 的 API 用于本地推理。
DeepSeek-V4-Flash W4A16+FP8 结合 MTP 自推测：在 2 张 RTX PRO 6000 Max-Q 上以 524K 上下文长度实现 85 tok/s
这篇文章详细介绍了一个经过定制并量化的 DeepSeek-V4-Flash 模型版本，启用了 MTP 自推测功能。通过修改后的 vLLM 设置，在双 RTX PRO 6000 Max-Q GPU 上实现了显著的速度提升。
DeepSeek V4 Flash（98GB）在单块4060 Ti加CPU上本周速度提升300% [从2t/s到7t/s]
DeepSeek V4 Flash（98GB）现在通过CPU卸载，在单块RTX 4060 Ti上运行速度可达每秒7个token，相比上周的2t/s提升了3倍。
DeepSeek-V4 Flash 实际表现如何？
对 DeepSeek-V4 Flash 的性能和能力的评估，评估其实际有效性。