Step 3.7 Flash IQ4_XS GGUF 支持 preserve_thinking
摘要
Step 3.7 Flash 现已提供 IQ4_XS GGUF 量化模型，通过 llama.cpp、vLLM、Ollama 及其他工具支持 preserve_thinking，实现高效的本地推理。
查看缓存全文
缓存时间: 2026/07/09 13:42
tarruda/Step-3.7-Flash-GGUF · Hugging Face
来源：https://huggingface.co/tarruda/Step-3.7-Flash-GGUF 库llama-cpp-python (https://huggingface.co/tarruda/Step-3.7-Flash-GGUF?library=llama-cpp-python)如何使用 tarruda/Step-3.7-Flash-GGUF 与 llama-cpp-python：
``
!pip install llama-cpp-python
from llama_cpp import Llama
llm = Llama.from_pretrained( repo_id=“tarruda/Step-3.7-Flash-GGUF”, filename=“IQ4_XS/Step-3.7-Flash-IQ4_XS-00001-of-00004.gguf”, ) ``
llm.create_chat_completion( messages = [ { "role": "user", "content": "法国的首都是什么？" } ] )
笔记本Google Colab (https://huggingface.co/tarruda/Step-3.7-Flash-GGUF/colab)Kaggle (https://huggingface.co/tarruda/Step-3.7-Flash-GGUF/kaggle)本地应用设置 (https://huggingface.co/settings/local-apps)llama.cpp (https://huggingface.co/tarruda/Step-3.7-Flash-GGUF?local-app=llama.cpp)如何使用 tarruda/Step-3.7-Flash-GGUF 与 llama.cpp：
安装（macOS、Linux）
`` curl -LsSf https://llama.app/install.sh | sh
启动一个兼容 OpenAI 的本地服务器，并附带网页界面：
llama serve -hf tarruda/Step-3.7-Flash-GGUF:IQ4_XS
在终端直接运行推理：
llama cli -hf tarruda/Step-3.7-Flash-GGUF:IQ4_XS ``
通过 WinGet 安装（Windows）
`` winget install llama.cpp
启动一个兼容 OpenAI 的本地服务器，并附带网页界面：
llama serve -hf tarruda/Step-3.7-Flash-GGUF:IQ4_XS
在终端直接运行推理：
llama cli -hf tarruda/Step-3.7-Flash-GGUF:IQ4_XS ``
使用预构建的二进制文件
``
从以下网址下载预构建的二进制文件：
https://github.com/ggerganov/llama.cpp/releases
启动一个兼容 OpenAI 的本地服务器，并附带网页界面：
./llama-server -hf tarruda/Step-3.7-Flash-GGUF:IQ4_XS
在终端直接运行推理：
./llama-cli -hf tarruda/Step-3.7-Flash-GGUF:IQ4_XS ``
从源代码构建
`` git clone https://github.com/ggerganov/llama.cpp.git cd llama.cpp cmake -B build cmake –build build -j –target llama-server llama-cli
启动一个兼容 OpenAI 的本地服务器，并附带网页界面：
./build/bin/llama-server -hf tarruda/Step-3.7-Flash-GGUF:IQ4_XS
在终端直接运行推理：
./build/bin/llama-cli -hf tarruda/Step-3.7-Flash-GGUF:IQ4_XS ``
使用 Docker
docker model run hf.co/tarruda/Step-3.7-Flash-GGUF:IQ4_XS
LM StudioJanvLLM (https://huggingface.co/tarruda/Step-3.7-Flash-GGUF?local-app=vllm)如何使用 tarruda/Step-3.7-Flash-GGUF 与 vLLM：
通过 pip 安装并启动模型服务
``
通过 pip 安装 vLLM：
pip install vllm
启动 vLLM 服务器：
vllm serve “tarruda/Step-3.7-Flash-GGUF”
使用 curl 调用服务器（兼容 OpenAI 的 API）：
curl -X POST “http://localhost:8000/v1/chat/completions”
-H “Content-Type: application/json”
–data ‘{
“model”: “tarruda/Step-3.7-Flash-GGUF”,
“messages”: [
{
“role”: “user”,
“content”: “法国的首都是什么？”
}
]
}’
``
使用 Docker
docker model run hf.co/tarruda/Step-3.7-Flash-GGUF:IQ4_XS
Ollama (https://huggingface.co/tarruda/Step-3.7-Flash-GGUF?local-app=ollama)如何使用 tarruda/Step-3.7-Flash-GGUF 与 Ollama：
ollama run hf.co/tarruda/Step-3.7-Flash-GGUF:IQ4_XS
Unsloth Studio (https://huggingface.co/tarruda/Step-3.7-Flash-GGUF?local-app=unsloth)如何使用 tarruda/Step-3.7-Flash-GGUF 与 Unsloth Studio：
安装 Unsloth Studio（macOS、Linux、WSL）
`` curl -fsSL https://unsloth.ai/install.sh | sh
运行 unsloth studio
unsloth studio -H 0.0.0.0 -p 8888
然后在浏览器中打开 http://localhost:8888
搜索 tarruda/Step-3.7-Flash-GGUF 开始对话
``
安装 Unsloth Studio（Windows）
`` irm https://unsloth.ai/install.ps1 | iex
运行 unsloth studio
unsloth studio -H 0.0.0.0 -p 8888
然后在浏览器中打开 http://localhost:8888
搜索 tarruda/Step-3.7-Flash-GGUF 开始对话
``
使用 HuggingFace Spaces 上的 Unsloth
``
无需安装
在浏览器中打开 https://huggingface.co/spaces/unsloth/studio
搜索 tarruda/Step-3.7-Flash-GGUF 开始对话
``
Pi (https://huggingface.co/tarruda/Step-3.7-Flash-GGUF?local-app=pi)如何使用 tarruda/Step-3.7-Flash-GGUF 与 Pi：
启动 llama.cpp 服务器
``
安装 llama.cpp：
brew install llama.cpp
启动一个兼容 OpenAI 的本地服务器：
llama serve -hf tarruda/Step-3.7-Flash-GGUF:IQ4_XS ``
在 Pi 中配置模型
``
安装 Pi：
npm install -g @mariozechner/pi-coding-agent
添加到 ~/.pi/agent/models.json：
{ “providers”: { “llama-cpp”: { “baseUrl”: “http://localhost:8080/v1”, “api”: “openai-completions”, “apiKey”: “none”, “models”: [ { “id”: “tarruda/Step-3.7-Flash-GGUF:IQ4_XS” } ] } } } ``
运行 Pi
``
在你的项目目录中启动 Pi：
pi ``
Hermes Agent新 (https://huggingface.co/tarruda/Step-3.7-Flash-GGUF?local-app=hermes-agent)如何使用 tarruda/Step-3.7-Flash-GGUF 与 Hermes Agent：
启动 llama.cpp 服务器
``
安装 llama.cpp：
brew install llama.cpp
启动一个兼容 OpenAI 的本地服务器：
llama serve -hf tarruda/Step-3.7-Flash-GGUF:IQ4_XS ``
配置 Hermes
``
安装 Hermes：
curl -fsSL https://hermes-agent.nousresearch.com/install.sh | bash hermes setup
让 Hermes 指向本地服务器：
hermes config set model.provider custom hermes config set model.base_url http://127.0.0.1:8080/v1 hermes config set model.default tarruda/Step-3.7-Flash-GGUF:IQ4_XS ``
运行 Hermes
hermes
Atomic Chat新OpenClaw新 (https://huggingface.co/tarruda/Step-3.7-Flash-GGUF?local-app=openclaw)如何使用 tarruda/Step-3.7-Flash-GGUF 与 OpenClaw：
启动 llama.cpp 服务器
``
安装 llama.cpp：
brew install llama.cpp
启动一个兼容 OpenAI 的本地服务器：
llama serve -hf tarruda/Step-3.7-Flash-GGUF:IQ4_XS ``
配置 OpenClaw
``
安装 OpenClaw：
npm install -g openclaw@latest
注册本地服务器并设置为默认模型：
openclaw onboard –non-interactive –mode local
–auth-choice custom-api-key
–custom-base-url http://127.0.0.1:8080/v1
–custom-model-id “tarruda/Step-3.7-Flash-GGUF:IQ4_XS”
–custom-provider-id llama-cpp
–custom-compatibility openai
–custom-text-input
–accept-risk
–skip-health
``
运行 OpenClaw
openclaw agent --local --agent main --message "来自 Hugging Face 的问候"
Docker Model Runner (https://huggingface.co/tarruda/Step-3.7-Flash-GGUF?local-app=docker-model-runner)如何使用 tarruda/Step-3.7-Flash-GGUF 与 Docker Model Runner：
docker model run hf.co/tarruda/Step-3.7-Flash-GGUF:IQ4_XS
Lemonade (https://huggingface.co/tarruda/Step-3.7-Flash-GGUF?local-app=lemonade)如何使用 tarruda/Step-3.7-Flash-GGUF 与 Lemonade：
拉取模型
``
从 https://lemonade-server.ai/ 下载 Lemonade
lemonade pull tarruda/Step-3.7-Flash-GGUF:IQ4_XS ``
运行并与模型对话
lemonade run user.Step-3.7-Flash-GGUF-IQ4_XS
列出所有可用模型
lemonade list
相似文章
IQ3 DS 发布
Unsloth 发布了 DeepSeek-V4-Flash-0731 的 IQ3 GGUF 量化版本，支持通过 llama.cpp、Ollama、LM Studio 等工具进行本地推理。
stepfun-ai/Step-3.7-Flash-GGUF
StepFun 发布了其 198B 参数的稀疏 MoE 视觉语言模型 Step-3.7-Flash 的 GGUF 量化版本，支持本地部署，最高 256K 上下文长度和可选择的推理级别。
Deepseek V4 Flash 2位、3位和4位 GGUFs
DeepSeek V4 Flash 的 2位、3位和4位精度 GGUF 量化版本，已在 Hugging Face 上发布，可用于 llama.cpp 和 Ollama 等工具的本地推理。
Qwen3.8-27B 混合 IQ4_XS 量化版本，适用于16GB RAM
这是一个使用 IQ4_XS 量化的 Qwen3.8-27B AI模型的量化版本，针对16GB RAM系统进行了优化，并提供使用各种工具如 llama.cpp 和 Ollama 的本地部署指南。
ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-GGUF
本仓库提供使用基于梯度的 GSQ 和 RCO 方法对 Qwen3.8-Flash-Next 模型进行的 GGUF 量化，以优化低比特表示，从而实现在标准工具中的高效部署。