SUPER GEMMA 4 26B UNCENSORED GGUF v2 强悍至极：

• 零拒绝（真正无审查）
• 修复了所有工具调用和分词器的各种问题
• 提示处理速度提升 90%
• 更敏锐、更智能，回答能力更强
• 是 llama.cpp 上完美的本地怪兽

可在 16GB、18GB、22GB 显存上运行（16.8GB Q4_K_M 文件）

• http://huggingface.co/Jiunsong/supergemma4-26b-uncensored-gguf-v2…

Jiunsong/supergemma4-26b-uncensored-gguf-v2 · Hugging Face

来源：https://huggingface.co/Jiunsong/supergemma4-26b-uncensored-gguf-v2 库：llama-cpp-python (https://huggingface.co/Jiunsong/supergemma4-26b-uncensored-gguf-v2?library=llama-cpp-python)如何在 llama-cpp-python 中使用 Jiunsong/supergemma4-26b-uncensored-gguf-v2：

``

!pip install llama-cpp-python

from llama_cpp import Llama

llm = Llama.from_pretrained( repo_id=“Jiunsong/supergemma4-26b-uncensored-gguf-v2”, filename=“supergemma4-26b-uncensored-fast-v2-Q4_K_M.gguf”, ) ``

llm.create_chat_completion( messages = [ { "role": "user", "content": "What is the capital of France?" } ] )

笔记本：Google Colab (https://huggingface.co/Jiunsong/supergemma4-26b-uncensored-gguf-v2/colab)Kaggle (https://huggingface.co/Jiunsong/supergemma4-26b-uncensored-gguf-v2/kaggle)本地应用：设置 (https://huggingface.co/settings/local-apps)llama.cpp (https://huggingface.co/Jiunsong/supergemma4-26b-uncensored-gguf-v2?local-app=llama.cpp)如何在 llama.cpp 中使用 Jiunsong/supergemma4-26b-uncensored-gguf-v2：

从 Homebrew 安装

`` brew install llama.cpp

启动一个带有网页界面的本地 OpenAI 兼容服务器：

llama-server -hf Jiunsong/supergemma4-26b-uncensored-gguf-v2:Q4_K_M

直接在终端中进行推理：

llama-cli -hf Jiunsong/supergemma4-26b-uncensored-gguf-v2:Q4_K_M ``

从 WinGet 安装（Windows）

`` winget install llama.cpp

启动一个带有网页界面的本地 OpenAI 兼容服务器：

llama-server -hf Jiunsong/supergemma4-26b-uncensored-gguf-v2:Q4_K_M

直接在终端中进行推理：

llama-cli -hf Jiunsong/supergemma4-26b-uncensored-gguf-v2:Q4_K_M ``

使用预构建二进制文件

``

从以下位置下载预构建二进制文件：

https://github.com/ggerganov/llama.cpp/releases

启动一个带有网页界面的本地 OpenAI 兼容服务器：

./llama-server -hf Jiunsong/supergemma4-26b-uncensored-gguf-v2:Q4_K_M

直接在终端中进行推理：

./llama-cli -hf Jiunsong/supergemma4-26b-uncensored-gguf-v2:Q4_K_M ``

从源代码构建

`` git clone https://github.com/ggerganov/llama.cpp.git cd llama.cpp cmake -B build cmake –build build -j –target llama-server llama-cli

启动一个带有网页界面的本地 OpenAI 兼容服务器：

./build/bin/llama-server -hf Jiunsong/supergemma4-26b-uncensored-gguf-v2:Q4_K_M

直接在终端中进行推理：

./build/bin/llama-cli -hf Jiunsong/supergemma4-26b-uncensored-gguf-v2:Q4_K_M ``

使用 Docker

docker model run hf.co/Jiunsong/supergemma4-26b-uncensored-gguf-v2:Q4_K_M

LM StudioJanvLLM (https://huggingface.co/Jiunsong/supergemma4-26b-uncensored-gguf-v2?local-app=vllm)如何在 vLLM 中使用 Jiunsong/supergemma4-26b-uncensored-gguf-v2：

从 pip 安装并启动模型服务

``

从 pip 安装 vLLM：

pip install vllm

启动 vLLM 服务器：

vllm serve “Jiunsong/supergemma4-26b-uncensored-gguf-v2”

使用 curl 调用服务器（兼容 OpenAI API）：

curl -X POST “http://localhost:8000/v1/chat/completions”
-H “Content-Type: application/json”
–data ‘{ “model”: “Jiunsong/supergemma4-26b-uncensored-gguf-v2”, “messages”: [ { “role”: “user”, “content”: “What is the capital of France?” } ] }’ ``

使用 Docker

docker model run hf.co/Jiunsong/supergemma4-26b-uncensored-gguf-v2:Q4_K_M

Ollama (https://huggingface.co/Jiunsong/supergemma4-26b-uncensored-gguf-v2?local-app=ollama)如何在 Ollama 中使用 Jiunsong/supergemma4-26b-uncensored-gguf-v2：

ollama run hf.co/Jiunsong/supergemma4-26b-uncensored-gguf-v2:Q4_K_M

Unsloth Studio (https://huggingface.co/Jiunsong/supergemma4-26b-uncensored-gguf-v2?local-app=unsloth)如何在 Unsloth Studio 中使用 Jiunsong/supergemma4-26b-uncensored-gguf-v2：

安装 Unsloth Studio（macOS、Linux、WSL）

`` curl -fsSL https://unsloth.ai/install.sh | sh

运行 unsloth studio

unsloth studio -H 0.0.0.0 -p 8888

然后在浏览器中打开 http://localhost:8888

搜索 Jiunsong/supergemma4-26b-uncensored-gguf-v2 开始聊天

``

安装 Unsloth Studio（Windows）

`` irm https://unsloth.ai/install.ps1 | iex

运行 unsloth studio

unsloth studio -H 0.0.0.0 -p 8888

然后在浏览器中打开 http://localhost:8888

搜索 Jiunsong/supergemma4-26b-uncensored-gguf-v2 开始聊天

``

使用 HuggingFace Spaces 中的 Unsloth

``

无需设置

在浏览器中打开 https://huggingface.co/spaces/unsloth/studio

搜索 Jiunsong/supergemma4-26b-uncensored-gguf-v2 开始聊天

``

Pi (https://huggingface.co/Jiunsong/supergemma4-26b-uncensored-gguf-v2?local-app=pi)如何在 Pi 中使用 Jiunsong/supergemma4-26b-uncensored-gguf-v2：

启动 llama.cpp 服务器

``

安装 llama.cpp：

brew install llama.cpp

启动一个本地 OpenAI 兼容服务器：

llama-server -hf Jiunsong/supergemma4-26b-uncensored-gguf-v2:Q4_K_M ``

在 Pi 中配置模型

``

安装 Pi：

npm install -g @mariozechner/pi-coding-agent

添加到 ~/.pi/agent/models.json：

{ “providers”: { “llama-cpp”: { “baseUrl”: “http://localhost:8080/v1”, “api”: “openai-completions”, “apiKey”: “none”, “models”: [ { “id”: “Jiunsong/supergemma4-26b-uncensored-gguf-v2:Q4_K_M” } ] } } } ``

运行 Pi

``

在你的项目目录中启动 Pi：

pi ``

Hermes Agent 新 (https://huggingface.co/Jiunsong/supergemma4-26b-uncensored-gguf-v2?local-app=hermes-agent)如何在 Hermes Agent 中使用 Jiunsong/supergemma4-26b-uncensored-gguf-v2：

启动 llama.cpp 服务器

``

安装 llama.cpp：

brew install llama.cpp

启动一个本地 OpenAI 兼容服务器：

llama-server -hf Jiunsong/supergemma4-26b-uncensored-gguf-v2:Q4_K_M ``

配置 Hermes

``

安装 Hermes：

curl -fsSL https://hermes-agent.nousresearch.com/install.sh | bash hermes setup

将 Hermes 指向本地服务器：

hermes config set model.provider custom hermes config set model.base_url http://127.0.0.1:8080/v1 hermes config set model.default Jiunsong/supergemma4-26b-uncensored-gguf-v2:Q4_K_M ``

运行 Hermes

hermes

Docker Model Runner (https://huggingface.co/Jiunsong/supergemma4-26b-uncensored-gguf-v2?local-app=docker-model-runner)如何在 Docker Model Runner 中使用 Jiunsong/supergemma4-26b-uncensored-gguf-v2：

docker model run hf.co/Jiunsong/supergemma4-26b-uncensored-gguf-v2:Q4_K_M

Lemonade (https://huggingface.co/Jiunsong/supergemma4-26b-uncensored-gguf-v2?local-app=lemonade)如何在 Lemonade 中使用 Jiunsong/supergemma4-26b-uncensored-gguf-v2：

拉取模型

``

从 https://lemonade-server.ai/ 下载 Lemonade

lemonade pull Jiunsong/supergemma4-26b-uncensored-gguf-v2:Q4_K_M ``

运行并与模型聊天

lemonade run user.supergemma4-26b-uncensored-gguf-v2-Q4_K_M

列出所有可用模型

lemonade list