huihui-ai/Huihui-GLM-5.2-abliterated-GGUF
摘要
Hugging Face 上发布了已消除限制的 GLM-5.2 模型的量化 GGUF 版本，可使用 Transformers、llama.cpp 和 vLLM 等工具进行本地推理。
任务：文本生成
标签：transformers, gguf, glm_moe_dsa, unsloth, abliterated, uncensored, GGUF, huihui, text-generation, en, zh, base_model:zai-org/GLM-5.2, base_model:quantized:zai-org/GLM-5.2, license:mit, endpoints_compatible, region:us, imatrix, conversational
查看缓存全文
缓存时间: 2026/06/30 17:29
huihui-ai/Huihui-GLM-5.2-abliterated-GGUF · Hugging Face 来源：https://huggingface.co/huihui-ai/Huihui-GLM-5.2-abliterated-GGUF 库 Transformers (https://huggingface.co/huihui-ai/Huihui-GLM-5.2-abliterated-GGUF?library=transformers)如何使用 huihui-ai/Huihui-GLM-5.2-abliterated-GGUF 与 Transformers： # 使用流水线作为高级辅助工具 from transformers import pipeline pipe = pipeline("text-generation", model="huihui-ai/Huihui-GLM-5.2-abliterated-GGUF") messages = [ {"role": "user", "content": "你是谁？"}, ] pipe(messages) # 直接加载模型 from transformers import AutoModel model = AutoModel.from_pretrained("huihui-ai/Huihui-GLM-5.2-abliterated-GGUF", dtype="auto") llama-cpp-python (https://huggingface.co/huihui-ai/Huihui-GLM-5.2-abliterated-GGUF?library=llama-cpp-python)如何使用 huihui-ai/Huihui-GLM-5.2-abliterated-GGUF 与 llama-cpp-python： # !pip install llama-cpp-python from llama_cpp import Llama llm = Llama.from_pretrained( repo_id="huihui-ai/Huihui-GLM-5.2-abliterated-GGUF", filename="UD-IQ1_M/GLM-5.2-UD-IQ1_M-00001-of-00006.gguf", ) llm.create_chat_completion( messages = [ { "role": "user", "content": "法国的首都是什么？" } ] ) 笔记本 Google Colab (https://huggingface.co/huihui-ai/Huihui-GLM-5.2-abliterated-GGUF/colab) Kaggle (https://huggingface.co/huihui-ai/Huihui-GLM-5.2-abliterated-GGUF/kaggle)本地应用 设置 (https://huggingface.co/settings/local-apps) llama.cpp (https://huggingface.co/huihui-ai/Huihui-GLM-5.2-abliterated-GGUF?local-app=llama.cpp)如何使用 huihui-ai/Huihui-GLM-5.2-abliterated-GGUF 与 llama.cpp： ##### 安装（macOS、Linux） curl -LsSf https://llama.app/install.sh | sh # 启动本地兼容 OpenAI 的服务器并带 Web 界面： llama serve -hf huihui-ai/Huihui-GLM-5.2-abliterated-GGUF:UD-IQ1_M # 直接在终端中运行推理： llama cli -hf huihui-ai/Huihui-GLM-5.2-abliterated-GGUF:UD-IQ1_M ##### 从 WinGet 安装（Windows） winget install llama.cpp # 启动本地兼容 OpenAI 的服务器并带 Web 界面： llama serve -hf huihui-ai/Huihui-GLM-5.2-abliterated-GGUF:UD-IQ1_M # 直接在终端中运行推理： llama cli -hf huihui-ai/Huihui-GLM-5.2-abliterated-GGUF:UD-IQ1_M ##### 使用预编译二进制 # 从以下地址下载预编译二进制： # https://github.com/ggerganov/llama.cpp/releases # 启动本地兼容 OpenAI 的服务器并带 Web 界面： ./llama-server -hf huihui-ai/Huihui-GLM-5.2-abliterated-GGUF:UD-IQ1_M # 直接在终端中运行推理： ./llama-cli -hf huihui-ai/Huihui-GLM-5.2-abliterated-GGUF:UD-IQ1_M ##### 从源码构建 git clone https://github.com/ggerganov/llama.cpp.git cd llama.cpp cmake -B build cmake --build build -j --target llama-server llama-cli # 启动本地兼容 OpenAI 的服务器并带 Web 界面： ./build/bin/llama-server -hf huihui-ai/Huihui-GLM-5.2-abliterated-GGUF:UD-IQ1_M # 直接在终端中运行推理： ./build/bin/llama-cli -hf huihui-ai/Huihui-GLM-5.2-abliterated-GGUF:UD-IQ1_M ##### 使用 Docker docker model run hf.co/huihui-ai/Huihui-GLM-5.2-abliterated-GGUF:UD-IQ1_M LM Studio Jan vLLM (https://huggingface.co/huihui-ai/Huihui-GLM-5.2-abliterated-GGUF?local-app=vllm)如何使用 huihui-ai/Huihui-GLM-5.2-abliterated-GGUF 与 vLLM： ##### 从 pip 安装并启动服务 # 从 pip 安装 vLLM： pip install vllm # 启动 vLLM 服务器： vllm serve "huihui-ai/Huihui-GLM-5.2-abliterated-GGUF" # 使用 curl 调用服务器（兼容 OpenAI 的 API）： curl -X POST "http://localhost:8000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "huihui-ai/Huihui-GLM-5.2-abliterated-GGUF", "messages": [ { "role": "user", "content": "法国的首都是什么？" } ] }' ##### 使用 Docker docker model run hf.co/huihui-ai/Huihui-GLM-5.2-abliterated-GGUF:UD-IQ1_M SGLang (https://huggingface.co/huihui-ai/Huihui-GLM-5.2-abliterated-GGUF?local-app=sglang)如何使用 huihui-ai/Huihui-GLM-5.2-abliterated-GGUF 与 SGLang： ##### 从 pip 安装并启动服务 # 从 pip 安装 SGLang： pip install sglang # 启动 SGLang 服务器： python3 -m sglang.launch_server \ --model-path "huihui-ai/Huihui-GLM-5.2-abliterated-GGUF" \ --host 0.0.0.0 \ --port 30000 # 使用 curl 调用服务器（兼容 OpenAI 的 API）： curl -X POST "http://localhost:30000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "huihui-ai/Huihui-GLM-5.2-abliterated-GGUF", "messages": [ { "role": "user", "content": "法国的首都是什么？" } ] }' ##### 使用 Docker 镜像 docker run --gpus all \ --shm-size 32g \ -p 30000:30000 \ -v ~/.cache/huggingface:/root/.cache/huggingface \ --env "HF_TOKEN=" \ --ipc=host \ lmsysorg/sglang:latest \ python3 -m sglang.launch_server \ --model-path "huihui-ai/Huihui-GLM-5.2-abliterated-GGUF" \ --host 0.0.0.0 \ --port 30000 # 使用 curl 调用服务器（兼容 OpenAI 的 API）： curl -X POST "http://localhost:30000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "huihui-ai/Huihui-GLM-5.2-abliterated-GGUF", "messages": [ { "role": "user", "content": "法国的首都是什么？" } ] }' Ollama (https://huggingface.co/huihui-ai/Huihui-GLM-5.2-abliterated-GGUF?local-app=ollama)如何使用 huihui-ai/Huihui-GLM-5.2-abliterated-GGUF 与 Ollama： ollama run hf.co/huihui-ai/Huihui-GLM-5.2-abliterated-GGUF:UD-IQ1_M Unsloth Studio (https://huggingface.co/huihui-ai/Huihui-GLM-5.2-abliterated-GGUF?local-app=unsloth)如何使用 huihui-ai/Huihui-GLM-5.2-abliterated-GGUF 与 Unsloth Studio： ##### 安装 Unsloth Studio（macOS、Linux、WSL） curl -fsSL https://unsloth.ai/install.sh | sh # 运行 unsloth studio unsloth studio -H 0.0.0.0 -p 8888 # 然后在浏览器中打开 http://localhost:8888 # 搜索 huihui-ai/Huihui-GLM-5.2-abliterated-GGUF 开始聊天 ##### 安装 Unsloth Studio（Windows） irm https://unsloth.ai/install.ps1 | iex # 运行 unsloth studio unsloth studio -H 0.0.0.0 -p 8888 # 然后在浏览器中打开 http://localhost:8888 # 搜索 huihui-ai/Huihui-GLM-5.2-abliterated-GGUF 开始聊天 ##### 使用 HuggingFace Spaces 运行 Unsloth # 无需设置 # 在浏览器中打开 https://huggingface.co/spaces/unsloth/studio # 搜索 huihui-ai/Huihui-GLM-5.2-abliterated-GGUF 开始聊天 Pi (https://huggingface.co/huihui-ai/Huihui-GLM-5.2-abliterated-GGUF?local-app=pi)如何使用 huihui-ai/Huihui-GLM-5.2-abliterated-GGUF 与 Pi： ##### 启动 llama.cpp 服务器 # 安装 llama.cpp： brew install llama.cpp # 启动本地兼容 OpenAI 的服务器： llama serve -hf huihui-ai/Huihui-GLM-5.2-abliterated-GGUF:UD-IQ1_M ##### 在 Pi 中配置模型 # 安装 Pi： npm install -g @mariozechner/pi-coding-agent # 添加到 ~/.pi/agent/models.json： { "providers": { "llama-cpp": { "baseUrl": "http://localhost:8080/v1", "api": "openai-completions", "apiKey": "none", "models": [ { "id": "huihui-ai/Huihui-GLM-5.2-abliterated-GGUF:UD-IQ1_M" } ] } } } ##### 运行 Pi # 在项目目录中启动 Pi： pi Hermes Agent新 (https://huggingface.co/huihui-ai/Huihui-GLM-5.2-abliterated-GGUF?local-app=hermes-agent)如何使用 huihui-ai/Huihui-GLM-5.2-abliterated-GGUF 与 Hermes Agent： ##### 启动 llama.cpp 服务器 # 安装 llama.cpp： brew install llama.cpp # 启动本地兼容 OpenAI 的服务器： llama serve -hf huihui-ai/Huihui-GLM-5.2-abliterated-GGUF:UD-IQ1_M ##### 配置 Hermes # 安装 Hermes： curl -fsSL https://hermes-agent.nousresearch.com/install.sh | bash hermes setup # 将 Hermes 指向本地服务器： hermes config set model.provider custom hermes config set model.base_url http://127.0.0.1:8080/v1 hermes config set model.default huihui-ai/Huihui-GLM-5.2-abliterated-GGUF:UD-IQ1_M ##### 运行 Hermes hermes Atomic Chat新 Docker Model Runner (https://huggingface.co/huihui-ai/Huihui-GLM-5.2-abliterated-GGUF?local-app=docker-model-runner)如何使用 huihui-ai/Huihui-GLM-5.2-abliterated-GGUF 与 Docker Model Runner： docker model run hf.co/huihui-ai/Huihui-GLM-5.2-abliterated-GGUF:UD-IQ1_M Lemonade (https://huggingface.co/huihui-ai/Huihui-GLM-5.2-abliterated-GGUF?local-app=lemonade)如何使用 huihui-ai/Huihui-GLM-5.2-abliterated-GGUF 与 Lemonade： ##### 拉取模型 # 从 https://lemonade-server.ai/ 下载 Lemonade lemonade pull huihui-ai/Huihui-GLM-5.2-abliterated-GGUF:UD-IQ1_M ##### 运行并与模型聊天 lemonade run user.Huihui-GLM-5.2-abliterated-GGUF-UD-IQ1_M ##### 列出所有可用模型 lemonade list
相似文章
PSA: unsloth/GLM-5.2-GGUF 正在上传
unsloth 已将 GLM-5.2 的 GGUF 版本上传至 Hugging Face，为 llama.cpp、vLLM 和 SGLang 等多种推理引擎提供了可直接使用的模型文件。
@aisearchio: GLM 5.2 GGUF 已经来了！8位版本大小约为完整模型的一半。更小版本即将推出 https://huggingfa…
GLM 5.2 GGUF 量化模型已发布，8位版本大小约为完整模型的一半；更小版本即将推出。
huihui-ai/Huihui-DeepSeek-V4-Flash-0731-abliterated-GGUF
这是 Huihui-DeepSeek-V4-Flash-0731-abliterated-GGUF 的模型卡，它是 DeepSeek-V4-Flash 的 abliterated（无审查）GGUF 量化变体，专为与 llama.cpp 和 ds4 一起本地使用而设计。
GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-Thinking-GGUF
MiniCPM5-1B-Claude-Opus-Fable5-Thinking 模型的 GGUF 量化版本已在 Hugging Face 上发布，并附有 llama.cpp、vLLM 和 Ollama 的使用说明。
Jackrong/Qwopus3.6-27B-Coder-MTP-GGUF
GGUF量化版本的Qwopus3.6-27B-Coder-MTP模型已发布在Hugging Face上，针对本地推理进行了优化，兼容Transformers、vLLM、SGLang和Unsloth Studio。