Xolotl（基于 Strata）—— DeepSeek-V4.1-Flash (552B) 在单张 4090 上达到约 27 tok/s，无审查的 1017 量化版本将在几天内发布

Reddit r/LocalLLaMA 工具
inference-engine quantization deepseek local-llm edge-inference open-source

摘要

Xolotl 是一个基于 Strata 的推理引擎，可在单张 RTX 4090 消费级 PC 上以约 27 tok/s 运行 552B 的 DeepSeek-V4.1-Flash，并即将支持新的 1017 量化版本。

大家好，这个帖子我已经想发很久了。我一直在开发一个基于 Strata 的推理引擎，名叫 Xolotl，它能在一台游戏 PC 上运行完整的 552B DeepSeek-V4.1-Flash。我的配置是单张 RTX 4090 (24GB)、Ryzen 7 5700X、90GB DDR4 内存和一块 NVMe 硬盘，没有什么特别的。权重被分布在显存、锁定内存和 NVMe 上，引擎会按每个 token 实际需要来加载对应的专家模型。我在那台机器上得到的性能是：解码速度 27 tok/s，预填充速度 180-320 tok/s，支持 512K 上下文，HumanEval 21/21，工具调用 10/10，智能体 bug 修复循环 3/3，全部通过真实服务器并开启思考模式完成。它还能运行 GLM-5.3-Flash、Qwen3.8-Flash-Next 和 Qwen3.8-27B，用的是同一个引擎。 GitHub：https://github.com/Indras-Mirror/Xolotl 我目前的量化版本（无审查 V4.1，152 GiB）在这里：https://huggingface.co/IndrasMirror/DeepSeek-V4.1-Flash-GSQ-Uncensored 关于 1017 更新：我正在下载新的 DeepSeek-V4.1-Flash-1017。由于我的网速很慢，文件大小有 510GB，所以下载进度比较慢。下载完成后我会对它进行消融处理（abliterate）并为 Xolotl 做量化。它的架构和配置与 V4.1 相同（我确认过，config 和 tokenizer 完全一致），所以吞吐量应该和当前版本差不多。不过权重完全不同，所以需要重新跑一遍完整的校准和量化流程，不是简单打个补丁就能搞定。希望几天内能全部搞定，提前发这个帖子是因为已经有人在问了。在那之前有任何问题欢迎提问。
查看原文

相似文章

DeepSeek-V4.1-Flash-1017 在单张 3090 上达 41 tok/s

Reddit r/LocalLLaMA

Delta Inference Engine 是一个 Windows 原生推理引擎，可在单张消费级 NVIDIA GPU 上以 2-bit 量化运行 5520 亿参数的 DeepSeek-V4.1-Flash-1017，RTX 3090 上生成速度达 41 tok/s，并提供 OpenAI 兼容 API。

Deepseek V4 Flash 在 RTX 5090 MoE 上运行

Reddit r/LocalLLaMA

用户分享了在 RTX 5090 上使用 llama.cpp 的一个分支运行 DeepSeek-V4-Flash (Q2_K) 的优化基准测试结果，实现了 21.3 token/秒的生成速度和 100 万上下文大小。