Bartowski 已发布 DS4 GGUF

Reddit r/LocalLLaMA 2026/06/30 10:55 模型

gguf deepseek quantization model-release open-source

摘要

Bartowski 发布了 DeepSeek-V4-Flash 的 GGUF 量化版本，并邀请用户与 Antirez 的版本进行对比。

期待与 Antirez 的 DS4 imamtrix 进行对比 https://huggingface.co/bartowski/DeepSeek-V4-Flash-GGUF

查看原文

相似文章

Reddit r/LocalLLaMA

Antirez 已将 Deepseek 4.1 flash 模型的量化 gguf 版本上传至 Hugging Face，部分可用，并有关于使用方法的疑问。

Hugging Face Models Trending

Antirez发布了专门为DS4推理引擎优化的DeepSeek V4 Flash GGUF量化版本，针对不同内存大小提供了优化配置，使得这个大型MoE模型可以在本地运行。

Reddit r/LocalLLaMA

DeepSeek V4 Flash 的 2位、3位和4位精度 GGUF 量化版本，已在 Hugging Face 上发布，可用于 llama.cpp 和 Ollama 等工具的本地推理。

Reddit r/LocalLLaMA

Unsloth 预告了即将在 Hugging Face 上发布的 DeepSeek V4 Flash GGUF 量化模型。

Reddit r/LocalLLaMA

jabbatheduck 发布了 REAP 专家剪枝后的 DeepSeek-V4-Flash 检查点的 GGUF 量化版本，为消费级 GPU 上的内存受限推理进行了大幅压缩，同时保留了路由器和注意力的精度。