Bartowski 已发布 DS4 GGUF

Reddit r/LocalLLaMA 模型
gguf deepseek quantization model-release open-source

摘要

Bartowski 发布了 DeepSeek-V4-Flash 的 GGUF 量化版本，并邀请用户与 Antirez 的版本进行对比。

期待与 Antirez 的 DS4 imamtrix 进行对比 https://huggingface.co/bartowski/DeepSeek-V4-Flash-GGUF
查看原文

相似文章

antirez/deepseek-v4-gguf

Hugging Face Models Trending

Antirez发布了专门为DS4推理引擎优化的DeepSeek V4 Flash GGUF量化版本，针对不同内存大小提供了优化配置，使得这个大型MoE模型可以在本地运行。

Deepseek V4 Flash 2位、3位和4位 GGUFs

Reddit r/LocalLLaMA

DeepSeek V4 Flash 的 2位、3位和4位精度 GGUF 量化版本，已在 Hugging Face 上发布，可用于 llama.cpp 和 Ollama 等工具的本地推理。