IQ3 DS 发布
摘要
Unsloth 发布了 DeepSeek-V4-Flash-0731 的 IQ3 GGUF 量化版本，支持通过 llama.cpp、Ollama、LM Studio 等工具进行本地推理。
查看缓存全文
缓存时间: 2026/07/31 22:57
unsloth/DeepSeek-V4-Flash-0731-GGUF at main
来源：https://huggingface.co/unsloth/DeepSeek-V4-Flash-0731-GGUF/tree/main 笔记本Google Colab (https://huggingface.co/unsloth/DeepSeek-V4-Flash-0731-GGUF/colab)Kaggle (https://huggingface.co/unsloth/DeepSeek-V4-Flash-0731-GGUF/kaggle)本地应用设置 (https://huggingface.co/settings/local-apps)llama.cpp (https://huggingface.co/unsloth/DeepSeek-V4-Flash-0731-GGUF?local-app=llama.cpp)如何将 unsloth/DeepSeek-V4-Flash-0731-GGUF 与 llama.cpp 配合使用：
安装（macOS、Linux）
`` curl -LsSf https://llama.app/install.sh | sh
启动带有 Web 界面的本地 OpenAI 兼容服务器：
llama serve -hf unsloth/DeepSeek-V4-Flash-0731-GGUF:UD-Q4_K_XL
直接在终端中运行推理：
llama cli -hf unsloth/DeepSeek-V4-Flash-0731-GGUF:UD-Q4_K_XL ``
通过 WinGet 安装（Windows）
`` winget install llama.cpp
启动带有 Web 界面的本地 OpenAI 兼容服务器：
llama serve -hf unsloth/DeepSeek-V4-Flash-0731-GGUF:UD-Q4_K_XL
直接在终端中运行推理：
llama cli -hf unsloth/DeepSeek-V4-Flash-0731-GGUF:UD-Q4_K_XL ``
使用预构建二进制文件
``
从以下位置下载预构建二进制文件：
https://github.com/ggerganov/llama.cpp/releases
启动带有 Web 界面的本地 OpenAI 兼容服务器：
./llama-server -hf unsloth/DeepSeek-V4-Flash-0731-GGUF:UD-Q4_K_XL
直接在终端中运行推理：
./llama-cli -hf unsloth/DeepSeek-V4-Flash-0731-GGUF:UD-Q4_K_XL ``
从源代码构建
`` git clone https://github.com/ggerganov/llama.cpp.git cd llama.cpp cmake -B build cmake –build build -j –target llama-server llama-cli
启动带有 Web 界面的本地 OpenAI 兼容服务器：
./build/bin/llama-server -hf unsloth/DeepSeek-V4-Flash-0731-GGUF:UD-Q4_K_XL
直接在终端中运行推理：
./build/bin/llama-cli -hf unsloth/DeepSeek-V4-Flash-0731-GGUF:UD-Q4_K_XL ``
使用 Docker
docker model run hf.co/unsloth/DeepSeek-V4-Flash-0731-GGUF:UD-Q4_K_XL
LM StudioJanOllama (https://huggingface.co/unsloth/DeepSeek-V4-Flash-0731-GGUF?local-app=ollama)如何将 unsloth/DeepSeek-V4-Flash-0731-GGUF 与 Ollama 配合使用：
ollama run hf.co/unsloth/DeepSeek-V4-Flash-0731-GGUF:UD-Q4_K_XL
Unsloth Studio (https://huggingface.co/unsloth/DeepSeek-V4-Flash-0731-GGUF?local-app=unsloth)如何将 unsloth/DeepSeek-V4-Flash-0731-GGUF 与 Unsloth Studio 配合使用：
安装 Unsloth Studio（macOS、Linux、WSL）
`` curl -fsSL https://unsloth.ai/install.sh | sh
运行 unsloth studio
unsloth studio -H 0.0.0.0 -p 8888
然后在浏览器中打开 http://localhost:8888
搜索 unsloth/DeepSeek-V4-Flash-0731-GGUF 开始聊天
``
安装 Unsloth Studio（Windows）
`` irm https://unsloth.ai/install.ps1 | iex
运行 unsloth studio
unsloth studio -H 0.0.0.0 -p 8888
然后在浏览器中打开 http://localhost:8888
搜索 unsloth/DeepSeek-V4-Flash-0731-GGUF 开始聊天
``
使用 HuggingFace Spaces 运行 Unsloth
``
无需设置
在浏览器中打开 https://huggingface.co/spaces/unsloth/studio
搜索 unsloth/DeepSeek-V4-Flash-0731-GGUF 开始聊天
``
Pi (https://huggingface.co/unsloth/DeepSeek-V4-Flash-0731-GGUF?local-app=pi)如何将 unsloth/DeepSeek-V4-Flash-0731-GGUF 与 Pi 配合使用：
启动 llama.cpp 服务器
``
安装 llama.cpp：
brew install llama.cpp
启动本地 OpenAI 兼容服务器：
llama serve -hf unsloth/DeepSeek-V4-Flash-0731-GGUF:UD-Q4_K_XL ``
在 Pi 中配置模型
``
安装 Pi：
npm install -g @mariozechner/pi-coding-agent
添加到 ~/.pi/agent/models.json：
{ “providers”: { “llama-cpp”: { “baseUrl”: “http://localhost:8080/v1”, “api”: “openai-completions”, “apiKey”: “none”, “models”: [ { “id”: “unsloth/DeepSeek-V4-Flash-0731-GGUF:UD-Q4_K_XL” } ] } } } ``
运行 Pi
``
在项目目录中启动 Pi：
pi ``
Hermes Agentnew (https://huggingface.co/unsloth/DeepSeek-V4-Flash-0731-GGUF?local-app=hermes-agent)如何将 unsloth/DeepSeek-V4-Flash-0731-GGUF 与 Hermes Agent 配合使用：
启动 llama.cpp 服务器
``
安装 llama.cpp：
brew install llama.cpp
启动本地 OpenAI 兼容服务器：
llama serve -hf unsloth/DeepSeek-V4-Flash-0731-GGUF:UD-Q4_K_XL ``
配置 Hermes
``
安装 Hermes：
curl -fsSL https://hermes-agent.nousresearch.com/install.sh | bash hermes setup
将 Hermes 指向本地服务器：
hermes config set model.provider custom hermes config set model.base_url http://127.0.0.1:8080/v1 hermes config set model.default unsloth/DeepSeek-V4-Flash-0731-GGUF:UD-Q4_K_XL ``
运行 Hermes
hermes
Atomic ChatnewOpenClawnew (https://huggingface.co/unsloth/DeepSeek-V4-Flash-0731-GGUF?local-app=openclaw)如何将 unsloth/DeepSeek-V4-Flash-0731-GGUF 与 OpenClaw 配合使用：
启动 llama.cpp 服务器
``
安装 llama.cpp：
brew install llama.cpp
启动本地 OpenAI 兼容服务器：
llama serve -hf unsloth/DeepSeek-V4-Flash-0731-GGUF:UD-Q4_K_XL ``
配置 OpenClaw
``
安装 OpenClaw：
npm install -g openclaw@latest
注册本地服务器并将其设为默认模型：
openclaw onboard –non-interactive –mode local
–auth-choice custom-api-key
–custom-base-url http://127.0.0.1:8080/v1
–custom-model-id “unsloth/DeepSeek-V4-Flash-0731-GGUF:UD-Q4_K_XL”
–custom-provider-id llama-cpp
–custom-compatibility openai
–custom-text-input
–accept-risk
–skip-health
``
运行 OpenClaw
openclaw agent --local --agent main --message "Hello from Hugging Face"
Docker Model Runner (https://huggingface.co/unsloth/DeepSeek-V4-Flash-0731-GGUF?local-app=docker-model-runner)如何将 unsloth/DeepSeek-V4-Flash-0731-GGUF 与 Docker Model Runner 配合使用：
docker model run hf.co/unsloth/DeepSeek-V4-Flash-0731-GGUF:UD-Q4_K_XL
Lemonade (https://huggingface.co/unsloth/DeepSeek-V4-Flash-0731-GGUF?local-app=lemonade)如何将 unsloth/DeepSeek-V4-Flash-0731-GGUF 与 Lemonade 配合使用：
拉取模型
``
从 https://lemonade-server.ai/ 下载 Lemonade
lemonade pull unsloth/DeepSeek-V4-Flash-0731-GGUF:UD-Q4_K_XL ``
运行模型并开始聊天
`` lemonade run user.DeepSeek-V4-Flash-0731-GGUF-UD-Q4_K_XL
相似文章
Step 3.7 Flash IQ4_XS GGUF 支持 preserve_thinking
Step 3.7 Flash 现已提供 IQ4_XS GGUF 量化模型，通过 llama.cpp、vLLM、Ollama 及其他工具支持 preserve_thinking，实现高效的本地推理。
unsloth/DeepSeek-V4-Flash-0731-GGUF
Unsloth 预告了即将在 Hugging Face 上发布的 DeepSeek V4 Flash GGUF 量化模型。
Deepseek V4 Flash 2位、3位和4位 GGUFs
DeepSeek V4 Flash 的 2位、3位和4位精度 GGUF 量化版本，已在 Hugging Face 上发布，可用于 llama.cpp 和 Ollama 等工具的本地推理。
antirez/deepseek-v4-gguf
Antirez发布了专门为DS4推理引擎优化的DeepSeek V4 Flash GGUF量化版本，针对不同内存大小提供了优化配置，使得这个大型MoE模型可以在本地运行。
带更新模板的 DeepSeek V4 Flash 0731 GGUF（支持推理级别）
DeepSeek-V4-Flash-0731-GGUF 的 Hugging Face 页面，这是 DeepSeek V4 Flash 的 GGUF 量化版本，带有支持推理级别的更新模板，可直接用于 llama.cpp、vLLM、Ollama 及其他本地推理工具。