huihui-ai/Huihui-Qwen3.8-27B-abliterated-GGUF

Hugging Face Models Trending 2026/08/16 13:18 模型

ai-model uncensored-llm quantization gguf open-source abliteration

摘要

一个无审查的 Qwen3.8-27B 大语言模型变体，通过 abliteration 修改以移除内容限制，以 GGUF 格式提供，用于与 llama.cpp 和 ollama 一起部署。

任务: image-text-to-text 标签: transformers, gguf, abliterated, uncensored, huihui, qwen3, image-text-to-text, 基础模型: Qwen/Qwen3.8-27B, 基础模型:量化: Qwen/Qwen3.8-27B, 许可证: apache-2.0, 端点兼容, 区域: us, 对话式

查看原文

查看缓存全文

缓存时间: 2026/08/19 15:45

huihui-ai/Huihui-Qwen3.8-27B-abliterated-GGUF · Hugging Face

来源: https://huggingface.co/huihui-ai/Huihui-Qwen3.8-27B-abliterated-GGUF

https://huggingface.co/huihui-ai/Huihui-Qwen3.8-27B-abliterated-GGUF#huihui-aihuihui-qwen38-27b-abliterated-ggufhuihui-ai/Huihui-Qwen3.8-27B-abliterated-GGUF

这是Qwen/Qwen3.8-27B (https://huggingface.co/Qwen/Qwen3.8-27B)的无审查版本，通过使用 abliteration（参见 remove-refusals-with-transformers (https://github.com/Sumandora/remove-refusals-with-transformers) 了解更多详情）创建。这是一个粗糙的概念验证实现，旨在不使用TransformerLens的情况下，从LLM模型中移除拒绝响应的机制。

https://huggingface.co/huihui-ai/Huihui-Qwen3.8-27B-abliterated-GGUF#note注意

模型的前15层保留未做清除处理。MTP 和视觉部分未做修改。

我们已经将需要清除的权重（token_embd, output, ffn_down, ssm_out, attn_output）从 Q8_0 量化版本以下的 Q2_K、Q3_K、Q4_K、Q5_K 和 Q6_K 转换为 Q8_0 格式以提升响应质量，并将文件名更改为 K_L。

在 Q8_0 量化版本中，我们将需要清除的 Q8_0 权重（token_embd, output, ffn_down, ssm_out, attn_output）转换为 BF16 格式，并将文件名更改为 Q8_0_L。

这不是标准的量化方法，因此您可能会发现 Q2_K_L 文件大小大于 Q3_K 和 Q4_K。

https://huggingface.co/huihui-ai/Huihui-Qwen3.8-27B-abliterated-GGUF#specific-quantification-method具体量化方法

有些人可能会误解。具体的量化方法如下。

https://huggingface.co/huihui-ai/Huihui-Qwen3.8-27B-abliterated-GGUF#q2_k_l—q6_k_lQ2_K_L - Q6_K_L

Qwen3.8-27B-tensor_types-Q6_K_L.txt (https://huggingface.co/huihui-ai/Huihui-Qwen3.8-27B-abliterated-GGUF/blob/main/Qwen3.8-27B-tensor_types-Q6_K_L.txt)

llama-quantize \ --allow-requantize \ --tensor-type-file huihui-ai/Huihui-Qwen3.8-27B-abliterated-GGUF/Qwen3.8-27B-tensor_types-Q6_K_L.txt \ huihui-ai/Huihui-Qwen3.8-27B-abliterated-GGUF/Huihui-Qwen3.8-27B-abliterated-bf16.gguf \ huihui-ai/Huihui-Qwen3.8-27B-abliterated-GGUF/Huihui-Qwen3.8-27B-abliterated-Q6_K_L.gguf Q6_K

https://huggingface.co/huihui-ai/Huihui-Qwen3.8-27B-abliterated-GGUF#q8_0_lQ8_0_L

Qwen3.8-27B-tensor_types-Q8_0_L.txt (https://huggingface.co/huihui-ai/Huihui-Qwen3.8-27B-abliterated-GGUF/blob/main/Qwen3.8-27B-tensor_types-Q8_0_L.txt)

llama-quantize \ --allow-requantize \ --tensor-type-file huihui-ai/Huihui-Qwen3.8-27B-abliterated-GGUF/Qwen3.8-27B-tensor_types-Q8_0_L.txt \ huihui-ai/Huihui-Qwen3.8-27B-abliterated-GGUF/Huihui-Qwen3.8-27B-abliterated-bf16.gguf \ huihui-ai/Huihui-Qwen3.8-27B-abliterated-GGUF/Huihui-Qwen3.8-27B-abliterated-Q8_0_L.gguf Q8_0

https://huggingface.co/huihui-ai/Huihui-Qwen3.8-27B-abliterated-GGUF#ollamaollama

请使用最新版本的 ollama (https://github.com/ollama/ollama/releases)。

您可以直接使用 huihui_ai/Qwen3.8-abliterated (https://ollama.com/huihui_ai/Qwen3.8-abliterated)，

ollama run huihui_ai/Qwen3.8-abliterated

https://huggingface.co/huihui-ai/Huihui-Qwen3.8-27B-abliterated-GGUF#llamacppllama.cpp

请使用最新版的 llama.cpp (https://github.com/ggml-org/llama.cpp)，

llama-cli -m huihui-ai/Huihui-Qwen3.8-27B-abliterated-GGUF/Huihui-Qwen3.8-27B-abliterated-Q4_K.gguf -c 262144

https://huggingface.co/huihui-ai/Huihui-Qwen3.8-27B-abliterated-GGUF#usage-warnings使用警告

敏感或争议性输出的风险：此模型的安全过滤已显著降低，可能会生成敏感、争议性或不当内容。用户应谨慎使用，并严格审查生成的输出。
不适合所有受众：由于内容过滤有限，模型的输出可能不适合在公共场合、未成年用户或对安全性要求高的应用中使用。
法律责任与道德义务：用户必须确保其使用符合当地法律和道德标准。生成的内容可能带来法律或道德风险，用户需自行承担一切后果。
研究与实验用途：建议将此模型用于研究、测试或受控环境，避免在生产环境或面向公众的商业应用中直接使用。
监控与审查建议：强烈建议用户实时监控模型输出，并在必要时进行人工审查，以防止不当内容的传播。
无默认安全保证：与标准模型不同，此模型未经过严格的安全优化。huihui.ai 对其使用产生的任何后果不承担责任。

https://huggingface.co/huihui-ai/Huihui-Qwen3.8-27B-abliterated-GGUF#donation捐赠

https://huggingface.co/huihui-ai/Huihui-Qwen3.8-27B-abliterated-GGUF#your-donation-helps-us-continue-our-further-development-and-improvement-a-cup-of-coffee-can-do-it您的捐赠帮助我们继续进一步的开发和改进，一杯咖啡即可做到。

比特币:

bc1qqnkhuchxw0zqjh2ku3lu4hq45hc6gy84uk70ge

在 Ko-fi (https://ko-fi.com/huihuiai) 上支持我们的工作！

相似文章