@support_huihui: 新的MTP-GGUF：huihui-ai/Huihui-Qwen3.6-27B-abliterated-MTP-GGUF 这是Qwen/Qwen3.6-27B的无审查版本，通过abliteration创建...

新 MTP-GGUF：huihui-ai/Huihui-Qwen3.6-27B-abliterated-MTP-GGUF 这是通过消融技术对 Qwen/Qwen3.6-27B 进行无审查处理的版本 https://huggingface.co/huihui-ai/Huihui-Qwen3.6-27B-abliterated-MTP-GGUF… — # huihui-ai/Huihui-Qwen3.6-27B-abliterated-MTP-GGUF · Hugging Face 来源：https://huggingface.co/huihui-ai/Huihui-Qwen3.6-27B-abliterated-MTP-GGUF 库 Transformers (https://huggingface.co/huihui-ai/Huihui-Qwen3.6-27B-abliterated-MTP-GGUF?library=transformers) 如何使用 Transformers 使用 huihui-ai/Huihui-Qwen3.6-27B-abliterated-MTP-GGUF： # 使用 pipeline 作为高级接口 from transformers import pipeline pipe = pipeline("image-text-to-text", model="huihui-ai/Huihui-Qwen3.6-27B-abliterated-MTP-GGUF") messages = [ { "role": "user", "content": [ {"type": "image", "url": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/p-blog/candy.JPG"}, {"type": "text", "text": "糖果上是什么动物？"} ] }, ] pipe(text=messages) # 直接加载模型 from transformers import AutoModel model = AutoModel.from_pretrained("huihui-ai/Huihui-Qwen3.6-27B-abliterated-MTP-GGUF", dtype="auto") llama-cpp-python (https://huggingface.co/huihui-ai/Huihui-Qwen3.6-27B-abliterated-MTP-GGUF?library=llama-cpp-python) 如何使用 llama-cpp-python 使用 huihui-ai/Huihui-Qwen3.6-27B-abliterated-MTP-GGUF： # !pip install llama-cpp-python from llama_cpp import Llama llm = Llama.from_pretrained( repo_id="huihui-ai/Huihui-Qwen3.6-27B-abliterated-MTP-GGUF", filename="Huihui-Qwen3.6-27B-abliterated-ggml-model-Q2_K.gguf", ) llm.create_chat_completion( messages = [ { "role": "user", "content": [ { "type": "text", "text": "用一句话描述这张图片。" }, { "type": "image_url", "image_url": { "url": "https://cdn.britannica.com/61/93061-050-99147DCE/Statue-of-Liberty-Island-New-York-Bay.jpg" } } ] } ] ) 笔记本 Google Colab (https://huggingface.co/huihui-ai/Huihui-Qwen3.6-27B-abliterated-MTP-GGUF/colab) Kaggle (https://huggingface.co/huihui-ai/Huihui-Qwen3.6-27B-abliterated-MTP-GGUF/kaggle) 本地应用 https://huggingface.co/settings/local-apps#local-apps llama.cpp (https://huggingface.co/huihui-ai/Huihui-Qwen3.6-27B-abliterated-MTP-GGUF?local-app=llama.cpp) 如何使用 llama.cpp 使用 huihui-ai/Huihui-Qwen3.6-27B-abliterated-MTP-GGUF： ##### 通过 brew 安装 brew install llama.cpp # 启动本地 OpenAI 兼容服务器并带 Web UI： llama-server -hf huihui-ai/Huihui-Qwen3.6-27B-abliterated-MTP-GGUF:Q2_K # 直接在终端运行推理： llama-cli -hf huihui-ai/Huihui-Qwen3.6-27B-abliterated-MTP-GGUF:Q2_K ##### 通过 WinGet (Windows) 安装 winget install llama.cpp # 启动本地 OpenAI 兼容服务器并带 Web UI： llama-server -hf huihui-ai/Huihui-Qwen3.6-27B-abliterated-MTP-GGUF:Q2_K # 直接在终端运行推理： llama-cli -hf huihui-ai/Huihui-Qwen3.6-27B-abliterated-MTP-GGUF:Q2_K ##### 使用预构建二进制 # 从以下地址下载预构建二进制： # https://github.com/ggerganov/llama.cpp/releases # 启动本地 OpenAI 兼容服务器并带 Web UI： ./llama-server -hf huihui-ai/Huihui-Qwen3.6-27B-abliterated-MTP-GGUF:Q2_K # 直接在终端运行推理： ./llama-cli -hf huihui-ai/Huihui-Qwen3.6-27B-abliterated-MTP-GGUF:Q2_K ##### 从源代码构建 git clone https://github.com/ggerganov/llama.cpp.git cd llama.cpp cmake -B build cmake --build build -j --target llama-server llama-cli # 启动本地 OpenAI 兼容服务器并带 Web UI： ./build/bin/llama-server -hf huihui-ai/Huihui-Qwen3.6-27B-abliterated-MTP-GGUF:Q2_K # 直接在终端运行推理： ./build/bin/llama-cli -hf huihui-ai/Huihui-Qwen3.6-27B-abliterated-MTP-GGUF:Q2_K ##### 使用 Docker docker model run hf.co/huihui-ai/Huihui-Qwen3.6-27B-abliterated-MTP-GGUF:Q2_K LM Studio Jan vLLM (https://huggingface.co/huihui-ai/Huihui-Qwen3.6-27B-abliterated-MTP-GGUF?local-app=vllm) 如何使用 vLLM 使用 huihui-ai/Huihui-Qwen3.6-27B-abliterated-MTP-GGUF： ##### 通过 pip 安装并服务模型 # 通过 pip 安装 vLLM： pip install vllm # 启动 vLLM 服务器： vllm serve "huihui-ai/Huihui-Qwen3.6-27B-abliterated-MTP-GGUF" # 使用 curl 调用服务器（OpenAI 兼容 API）： curl -X POST "http://localhost:8000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "huihui-ai/Huihui-Qwen3.6-27B-abliterated-MTP-GGUF", "messages": [ { "role": "user", "content": [ { "type": "text", "text": "用一句话描述这张图片。" }, { "type": "image_url", "image_url": { "url": "https://cdn.britannica.com/61/93061-050-99147DCE/Statue-of-Liberty-Island-New-York-Bay.jpg" } } ] } ] }' ##### 使用 Docker docker model run hf.co/huihui-ai/Huihui-Qwen3.6-27B-abliterated-MTP-GGUF:Q2_K SGLang (https://huggingface.co/huihui-ai/Huihui-Qwen3.6-27B-abliterated-MTP-GGUF?local-app=sglang) 如何使用 SGLang 使用 huihui-ai/Huihui-Qwen3.6-27B-abliterated-MTP-GGUF： ##### 通过 pip 安装并服务模型 # 通过 pip 安装 SGLang： pip install sglang # 启动 SGLang 服务器： python3 -m sglang.launch_server \ --model-path "huihui-ai/Huihui-Qwen3.6-27B-abliterated-MTP-GGUF" \ --host 0.0.0.0 \ --port 30000 # 使用 curl 调用服务器（OpenAI 兼容 API）： curl -X POST "http://localhost:30000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "huihui-ai/Huihui-Qwen3.6-27B-abliterated-MTP-GGUF", "messages": [ { "role": "user", "content": [ { "type": "text", "text": "用一句话描述这张图片。" }, { "type": "image_url", "image_url": { "url": "https://cdn.britannica.com/61/93061-050-99147DCE/Statue-of-Liberty-Island-New-York-Bay.jpg" } } ] } ] }' ##### 使用 Docker 镜像 docker run --gpus all \ --shm-size 32g \ -p 30000:30000 \ -v ~/.cache/huggingface:/root/.cache/huggingface \ --env "HF_TOKEN=" \ --ipc=host \ lmsysorg/sglang:latest \ python3 -m sglang.launch_server \ --model-path "huihui-ai/Huihui-Qwen3.6-27B-abliterated-MTP-GGUF" \ --host 0.0.0.0 \ --port 30000 # 使用 curl 调用服务器（OpenAI 兼容 API）： curl -X POST "http://localhost:30000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "huihui-ai/Huihui-Qwen3.6-27B-abliterated-MTP-GGUF", "messages": [ { "role": "user", "content": [ { "type": "text", "text": "用一句话描述这张图片。" }, { "type": "image_url", "image_url": { "url": "https://cdn.britannica.com/61/93061-050-99147DCE/Statue-of-Liberty-Island-New-York-Bay.jpg" } } ] } ] }' Ollama (https://huggingface.co/huihui-ai/Huihui-Qwen3.6-27B-abliterated-MTP-GGUF?local-app=ollama) 如何使用 Ollama 使用 huihui-ai/Huihui-Qwen3.6-27B-abliterated-MTP-GGUF： ollama run hf.co/huihui-ai/Huihui-Qwen3.6-27B-abliterated-MTP-GGUF:Q2_K Unsloth Studio 新功能 (https://huggingface.co/huihui-ai/Huihui-Qwen3.6-27B-abliterated-MTP-GGUF?local-app=unsloth) 如何使用 Unsloth Studio 使用 huihui-ai/Huihui-Qwen3.6-27B-abliterated-MTP-GGUF： ##### 安装 Unsloth Studio (macOS, Linux, WSL) curl -fsSL https://unsloth.ai/install.sh | sh # 运行 unsloth studio unsloth studio -H 0.0.0.0 -p 8888 # 然后在浏览器中打开 http://localhost:8888 # 搜索 huihui-ai/Huihui-Qwen3.6-27B-abliterated-MTP-GGUF 开始聊天 ##### 安装 Unsloth Studio (Windows) irm https://unsloth.ai/install.ps1 | iex # 运行 unsloth studio unsloth studio -H 0.0.0.0 -p 8888 # 然后在浏览器中打开 http://localhost:8888 # 搜索 huihui-ai/Huihui-Qwen3.6-27B-abliterated-MTP-GGUF 开始聊天 ##### 使用 HuggingFace Spaces 的 Unsloth # 无需设置 # 在浏览器中打开 https://huggingface.co/spaces/unsloth/studio # 搜索 huihui-ai/Huihui-Qwen3.6-27B-abliterated-MTP-GGUF 开始聊天 Pi 新功能 (https://huggingface.co/huihui-ai/Huihui-Qwen3.6-27B-abliterated-MTP-GGUF?local-app=pi) 如何使用 Pi 使用 huihui-ai/Huihui-Qwen3.6-27B-abliterated-MTP-GGUF： ##### 启动 llama.cpp 服务器 # 安装 llama.cpp： brew install llama.cpp # 启动本地 OpenAI 兼容服务器： llama-server -hf huihui-ai/Huihui-Qwen3.6-27B-abliterated-MTP-GGUF:Q2_K ##### 在 Pi 中配置模型 # 安装 Pi： npm install -g @mariozechner/pi-coding-agent # 添加到 ~/.pi/agent/models.json： { "providers": { "llama-cpp": { "baseUrl": "http://localhost:8080/v1", "api": "openai-completions", "apiKey": "none", "models": [ { "id": "huihui-ai/Huihui-Qwen3.6-27B-abliterated-MTP-GGUF:Q2_K" } ] } } } ##### 运行 Pi # 在项目目录中启动 Pi： pi Hermes Agent 新功能 (https://huggingface.co/huihui-ai/Huihui-Qwen3.6-27B-abliterated-MTP-GGUF?local-app=hermes-agent) 如何使用 Hermes Agent 使用 huihui-ai/Huihui-Qwen3.6-27B-abliterated-MTP-GGUF： ##### 启动 llama.cpp 服务器 # 安装 llama.cpp： brew install llama.cpp # 启动本地 OpenAI 兼容服务器： llama-server -hf huihui-ai/Huihui-Qwen3.6-27B-abliterated-MTP-GGUF:Q2_K ##### 配置 Hermes # 安装 Hermes： curl -fsSL https://hermes-agent.nousresearch.com/install.sh | bash hermes setup # 将 Hermes 指向本地服务器： hermes config set model.provider custom hermes config set model.base_url http://127.0.0.1:8080/v1 hermes config set model.default huihui-ai/Huihui-Qwen3.6-27B-abliterated-MTP-GGUF:Q2_K ##### 运行 Hermes hermes Docker Model Runner (https://huggingface.co/huihui-ai/Huihui-Qwen3.6-27B-abliterated-MTP-GGUF?local-app=docker-model-runner) 如何使用 Docker Model Runner 使用 huihui-ai/Huihui-Qwen3.6-27B-abliterated-MTP-GGUF： docker model run hf.co/huihui-ai/Huihui-Qwen3.6-27B-abliterated-MTP-GGUF:Q2_K Lemonade (https://huggingface.co/huihui-ai/Huihui-Qwen3.6-27B-abliterated-MTP-GGUF?local-app=lemonade) 如何使用 Lemonade 使用 huihui-ai/Huihui-Qwen3.6-27B-abliterated-MTP-GGUF： ##### 拉取模型 # 从 https://lemonade-server.ai/ 下载 Lemonade lemonade pull huihui-ai/Huihui-Qwen3.6-27B-abliterated-MTP-GGUF:Q2_K ##### 运行并聊天 lemonade run user.Huihui-Qwen3.6-27B-abliterated-MTP-GGUF-Q2_K ##### 列出所有可用模型 lemonade list > huihui.ai (@support_huihui): > 使用最新版 llama.cpp 配合 –spec-type draft-mtp –spec-draft-n-max 6 参数加载 Qwen3.6-27B-abliterated (F16) 可瞬间将速度提升一倍。