huihui-ai/Huihui-DeepSeek-V4-Flash-0731-abliterated-GGUF

Hugging Face Models Trending 模型
abliterated gguf deepseek local-inference llama.cpp quantized

摘要

这是 Huihui-DeepSeek-V4-Flash-0731-abliterated-GGUF 的模型卡，它是 DeepSeek-V4-Flash 的 abliterated（无审查）GGUF 量化变体，专为与 llama.cpp 和 ds4 一起本地使用而设计。

任务：文本生成 标签：GGUF、abliterated、无审查、GGUF、huihui、量化、DeepSeek、DeepSeek-V4、DeepSeek-V4-Flash-0731、MoE、专家混合（Mixture-of-Experts）、2-bit、4-bit、iq2_xxs、q2_k、q4_k、ds4、Apple Silicon、Metal、Unsloth、文本生成、base_model:deepseek-ai/DeepSeek-V4-Flash-0731、base_model:quantized:deepseek-ai/DeepSeek-V4-Flash-0731、license:mit、端点兼容、region:us、imatrix、对话式
查看原文
查看缓存全文

缓存时间: 2026/08/07 13:46

huihui-ai/Huihui-DeepSeek-V4-Flash-0731-abliterated-GGUF · Hugging Face

https://huggingface.co/huihui-ai/Huihui-DeepSeek-V4-Flash-0731-abliterated-GGUF#huihui-aihuihui-deepseek-v4-flash-0731-abliterated-ggufhuihui-ai/Huihui-DeepSeek-V4-Flash-0731-abliterated-GGUF

这是 deepseek\-ai/DeepSeek\-V4\-Flash\-0731 (https://huggingface.co/deepseek-ai/DeepSeek-V4-Flash-0731) 的无审查版本，通过 abliteration 技术创建（参见 remove-refusals-with-transformers (https://github.com/Sumandora/remove-refusals-with-transformers) 以了解更多信息）。这是一个粗糙的概念验证实现，旨在不使用 TransformerLens 的情况下移除 LLM 模型的拒绝行为。

注意：这些 GGUF 文件支持 llama.cpp 和 ds4，且所有专家模块均未被消融。

Q4 使用了比 Q2 更强的消融强度，因此拒绝率更低。

https://huggingface.co/huihui-ai/Huihui-DeepSeek-V4-Flash-0731-abliterated-GGUF#gguf-filesGGUF 文件

GGUF 文件来自 antirez/deepseek-v4-gguf (https://huggingface.co/antirez/deepseek-v4-gguf)

https://huggingface.co/huihui-ai/Huihui-DeepSeek-V4-Flash-0731-abliterated-GGUF#llamacppllama.cpp

请使用最新的 llama.cpp (https://github.com/ggml-org/llama.cpp)，

llama-cli -m huihui-ai/Huihui-DeepSeek-V4-Flash-0731-abliterated-GGUF/DeepSeek-V4-Flash-Q2-0731.gguf -c 262144

https://huggingface.co/huihui-ai/Huihui-DeepSe

相似文章

Deepseek V4 Flash 2位、3位和4位 GGUFs

Reddit r/LocalLLaMA

DeepSeek V4 Flash 的 2位、3位和4位精度 GGUF 量化版本，已在 Hugging Face 上发布，可用于 llama.cpp 和 Ollama 等工具的本地推理。

huihui-ai/Huihui-Qwen3.8-27B-abliterated-GGUF

Hugging Face Models Trending

一个无审查的 Qwen3.8-27B 大语言模型变体，通过 abliteration 修改以移除内容限制，以 GGUF 格式提供，用于与 llama.cpp 和 ollama 一起部署。

huihui-ai/Huihui-GLM-5.2-abliterated-GGUF

Hugging Face Models Trending

Hugging Face 上发布了已消除限制的 GLM-5.2 模型的量化 GGUF 版本，可使用 Transformers、llama.cpp 和 vLLM 等工具进行本地推理。