@_ARahim_: DeepSeek 的 DSpark 推测解码草稿模型,在 Mac(原生 Apple Silicon,MLX)上基准测试,无损;结果与基础模型完全一致……
摘要
mlx-dspark 将 DeepSeek 的 DSpark 和 z-lab 的 DFlash 推测解码草稿模型通过 MLX 引入 Apple Silicon,实现无损加速(约 1.4–1.6 倍,代码/数学任务可达 2 倍),并提供兼容 OpenAI 的 API 用于本地推理。
查看缓存全文
缓存时间: 2026/07/07 15:33
DeepSeek的DSpark与z-lab的DFlash推测解码——通过MLX原生支持Apple Silicon。为Qwen3和Gemma-4系列(以及任何匹配的DSpark/DFlash检查点)提供无损草稿模型(输出相同,仅加速)。可在命令行、Python中运行,或提供OpenAI兼容的API供LM Studio/任何本地工具使用。
相似文章
@danielhanchen: DeepSeek刚刚发布了用于V4 Flash和Pro的DSpark,一种新的投机解码方法,将吞吐量提升51%至400%!…
DeepSeek发布了DSpark,一种投机解码方法,可将V4 Flash和Pro的吞吐量提升51%至400%,同时还开源了DeepSpec代码库,用于训练和评估草稿模型。
DeepSeek开源DSpark,一个可将LLM推理速度提升高达85%的新框架(阅读时间18分钟)
DeepSeek开源了DSpark,这是一个采用MIT许可证的框架,利用推测解码技术将LLM推理速度提升高达85%,支持包括自家DeepSeek-V4、阿里巴巴Qwen和谷歌Gemma在内的多个模型系列。
@dzhulgakov:来自 @deepseek_ai 的 DSpark 巧妙融合了多种投机解码思路,将吞吐量提升 1.5 到 5 倍…
来自 DeepSeek AI 的 DSpark 集成了投机解码思路,在生产系统中实现 1.5 到 5 倍的吞吐量提升。本推文从基础开始讲解了 10 个关键思路。
@DeRonin_: DeepSeek 刚发布了一篇5页论文和免费GitHub仓库,能让任何LLM响应速度提升80%,这项技术叫推测性解码...
DeepSeek 发布了一篇论文以及采用MIT许可证的开源实现(DSpark),通过使用小型“猜测”模型和大型“检查”模型,将LLM响应速度提升高达80%,同时兼顾速度与准确率,无需权衡取舍。
Metal 上的 DeepSeek V4 Flash 本地推理引擎
ds4 是一款专为 Apple Silicon 优化的 DeepSeek V4 Flash 本地原生推理引擎,支持基于磁盘的 KV 缓存持久化和 Metal 加速。