orcarouter/DeepSeek-V4.1-Flash-1017-abliterated-GGUF · Hugging Face

来源：https://huggingface.co/orcarouter/DeepSeek-V4.1-Flash-1017-abliterated-GGUF OrcaRouter (https://www.orcarouter.ai/)

DeepSeek-V4.1-Flash-1017-abliterated GGUF

🛡️Orca 新品 — OrcaCyber Zero 1.5 (https://www.orcarouter.ai/models/orca/orcacyber-zero-1.5)

面向网络安全后训练：漏洞分析、漏洞复现、红队与攻防安全研究。CyberGym Level 1 通过率 98.01%（pass@1）· 100 万上下文 · 函数调用 · 兼容 OpenAI 的 API。

在 OrcaRouter 上试用 (https://www.orcarouter.ai/models/orca/orcacyber-zero-1.5)

🛡️Orca 新品 — OrcaCyber Flash 1.0 (https://www.orcarouter.ai/models/orca/orcacyber-flash-1.0)

没有 236 GB 的机器？在 OrcaRouter 上以托管的、兼容 OpenAI 的 API 运行 DeepSeek V4.1 Flash Abliterated：无需下载、无需 GPU、一把 API key 即可。

在 OrcaRouter 上试用 (https://www.orcarouter.ai/models/orca/orcacyber-flash-1.0)

🔌Orca 新品 — Orca Connect (https://www.orcarouter.ai/solutions/orca-connect)

正在用 llama.cpp 跑这个 GGUF？Orca Connect 让你桌下的这台机器通过平时用的 OrcaRouter API key 接入，旁边还有 200+ 托管模型，笔记本、手机或云端 agent 都能访问。仅出站连接：无需端口转发、无需隧道、无需防火墙规则。由你自己的硬件处理的请求费用为 $0，而且 orca-connect claude 可以让 Claude Code 在一个会话中直连你的机器。

连接你的机器 (https://www.orcarouter.ai/solutions/orca-connect)

763B 的无审查 DeepSeek-V4.1-Flash-1017，单机运行。

236 GB 内存 · 197B 参数的 Engram 从你的 SSD 流式读取 · llama.cpp

OrcaRouter AI Gateway (https://www.orcarouter.ai/) ·X (https://x.com/OrcaRouter) · Discord (https://discord.gg/yAh6Tex6kx) · GitHub (https://github.com/Continuum-AI-Corp) · All Models (https://www.orcarouter.ai/models)

本地运行完整的 DeepSeek-V4.1-Flash-1017

本地运行完整的 DeepSeek-V4.1-Flash-1017。这些是 abliterated（已移除拒答）DeepSeek-V4.1-Flash-1017 的 GGUF 构建。该模型是一个 763B 参数的 MoE，拥有 384 个路由专家（top-6）、一个 197B 参数的 Engram n-gram 记忆、压缩稀疏注意力以及 100 万 token 的上下文。路由专家是唯一占用比特预算的部分：每一层的专家精度都是根据实测 KL 散度确定的，而非人为设定的规则。Engram 表是一张查表结构，每个 token 读取 48 行。llama.cpp 将其从磁盘映射并按需读取，因此它存放在你的 SSD 上，而非内存中。需要放进内存的是其他所有部分。

⚠️ 免责声明 — 使用前必读

本模型基于一个abliterated的基座构建，其安全对齐已被大幅削弱：拒答方向已从写入残差流的每个矩阵中被正交化移除。它会遵从许多有害、不道德、冒犯性或非法的请求，而原始的 DeepSeek-V4.1-Flash-1017 会拒绝这些请求。

• 本模型严格仅用于合法研究：可解释性、AI 安全与拒答机制研究、红队测试以及鲁棒性评估。
• **你需对使用方式及其生成的所有内容承担全部责任。**在任何部署之前，请自行加入安全、审核和防滥用层。
• 使用必须遵守基座模型继承的 MIT License (https://opensource.org/license/mit) 以及所有适用法律。
• 作者对滥用行为不承担任何责任。其输出不代表上传者或 DeepSeek 的观点。

选择一个构建

**Mix-256G 是推荐使用的构建。**它需要一台拥有 256 GB RAM、统一内存或 VRAM 的机器。在每个专家权重 3.36 比特的精度下，模型的下一 token 选择在 93.7% 的留出 token 上与未量化模型一致。

**Mix-128G 可以放进 128 GB，但它并非替代品。**所有专家都用 llama.cpp 最小的类型（IQ1_S）也已占用 111 GB，因此 128 GB 的机器已处于下限：困惑度高出 55%，每五个 token 就有一个与原始模型不同。用它来试用模型，而非依赖它。

内存占用指除 Engram 表之外的所有内容。下载量包含 110.6 GB 的 Engram 表，该表保留在磁盘上。

评估

两个构建均以同一检查点的无损 GGUF（MXFP4 专家、BF16 稠密部分、MXFP8 Engram，逐比特精确转换）为基准，在留出文本上评分：wikitext-2 测试集，字符 0 到 300000，32 个 2048 token 的窗口，全词表 KLD。精度搜索从未见过这些文本。每个构建均与llama.cpp 自带的混合精度在相近尺寸下对比，使用相同权重和相同重要性矩阵量化：

**以上测量使用 MXFP8 精度的 Engram 表。**发布的文件中该表为 IQ4_NL（110.6 GB 而非 202.8 GB）。此次替换未重新评分。根据 [unsloth 对该模型的测量 (https://huggingface.co/unsloth/DeepSeek-V4.1-Flash-1017-GGUF)，Engram 精度对 Top-1 几乎没有影响。

**方法说明。**这些是 2k 上下文下留出文本上的全词表 KLD 和下一 token 一致性，而非下游基准测试。

abliterated 模型的拒答与能力

**在未量化的 abliterated 检查点上测量，并未在这些 GGUF 构建上重新测量。**上述 KLD 表示各构建与该检查点的距离。

实验设置。

• 硬件与运行时：8×H200，使用该检查点自带的参考实现，张量并行。
• 解码：贪心解码，thinking_mode="chat"，生成 64 个新 token。
• 评分：拒答由基于规则的开头短语分类器判定。caveat 表示模型回答了问题，但给回答加了免责声明。请将这些数字视为参考性结果，而非出版级结果。

**安全性：有害提示的拒答率（越低 = 越无审查）。**全部 500 条提示的加权平均：0.074，对比基座检查点的 0.874。

**过度拒答：良性提示被错误拒绝的比例（越低 = 越好）。**全部 350 条提示的加权平均：0.006，对比基座检查点的 0.069。

能力保留。

MMLU 没有变化；一分的差异在 300 道题的抽样误差范围内。这是唯一测量的能力。

精度是如何选择的

每个层级单独搜索，预算设定在必须驻留内存的字节数上：

1. **测量。**对于每一组张量，搜索会测量将其提升一个精度级别和降低一个精度级别的真实 KLD。一组是指某一层的专家（gate+up 与 down 分开计算），或某一种稠密矩阵。每次测量都运行 llama.cpp 自带的 kernel。
2. **选择。**用背包算法挑选恰好符合预算的调整组合。
3. **接受。**只有候选 KLD 实际测得更低的步骤才会被保留。搜索重复进行直到收敛。

搜索得到的 256G 构建把比特花在刀刃上：

在相同预算下，均匀分配的 KLD 为 0.146，搜索得到的分配为 0.045（样本内）。从均匀分配出发，将中间任意单独一层升级到 MXFP4 可减少约 0.04 的 KLD。它们的误差在下游是复合而非累加的。

在 128G 构建中几乎没有可分配的余地。除少数靠后的层用 IQ1_M 或 IQ2_XXS 外，专家全部为 IQ1_S。

其他部分设置如下：

• 注意力和共享专家在 256G 中为 Q5_K–Q8_0，在 128G 中为 Q4_K–Q6_K。
• 路由器、归一化和超连接混合器保持出厂设置。
• 重要性矩阵来自 614k token 的中英文对话和 Wikipedia 文本。

本仓库包含什么

视觉投影器与两个构建均可配合使用。它转换自 abliterated 检查点，其图像入口点（aligner.w2）和图像标记携带了拒答编辑，因此不要替换为原始模型的 mmproj。DeepSeek-V4.1 的聊天模板已嵌入每个构建中。DSpark 投机式草稿器不包含在内。

运行（llama.cpp）

DeepSeek-V4.1 尚未进入 llama.cpp 主分支。请编译添加它的 PR：ggml-org/llama.cpp#30817 (https://github.com/ggml-org/llama.cpp/pull/30817)。这些文件是在提交 b72050d03 下制作并测试的：

git clone https://github.com/ggml-org/llama.cpp && cd llama.cpp
git fetch origin pull/30817/head:pr-30817 && git checkout b72050d03
cmake -B build -DGGML_CUDA=ON && cmake --build build -j --target llama-server llama-cli

hf download orcarouter/DeepSeek-V4.1-Flash-1017-abliterated-GGUF \
  --include "Mix-256G/*" "mmproj-*-BF16.gguf" --local-dir ./dsv41-gguf

# GPU 总显存约 250 GB（已在 2 x H200 上测试）
llama-server -m dsv41-gguf/Mix-256G/DeepSeek-V4.1-Flash-1017-abliterated-Mix-256G-00001-of-00007.gguf \
  --mmproj dsv41-gguf/mmproj-DeepSeek-V4.1-Flash-1017-abliterated-BF16.gguf \
  -ngl 99 -c 32768 -np 1 --no-reasoning-preserve

# 纯 CPU，256 GB+ RAM（已测试）：必须关闭权重重打包，见下文
llama-server -m dsv41-gguf/Mix-256G/DeepSeek-V4.1-Flash-1017-abliterated-Mix-256G-00001-of-00007.gguf \
  --mmproj dsv41-gguf/mmproj-DeepSeek-V4.1-Flash-1017-abliterated-BF16.gguf \
  -ngl 0 --no-repack --fit off -c 8192 -np 1 --no-reasoning-preserve

• **把文件放在 NVMe SSD 上，并保持 mmap 开启（默认）。**Engram 表始终留在 GPU 之外并按需读取。--mlock 或 --no-mmap 会把全部 110 GB 拉进 RAM。
• **纯 CPU：传入 --no-repack。**在 b72050d03 的 PR 下，CPU 后端的权重重打包会留下一个没有任何后端能接受的操作，启动时会以 GGML_ASSERT(*cur_backend_id != -1) 中止。--no-repack --fit off 可以正常运行。
• **图像：**传入 --mmproj，并发送 OpenAI 风格的 image_url 内容片段（base64 data URL 可用）。
• **256 GB 系统内存加一块 GPU：**添加 --cpu-moe，将路由专家放在 RAM 中、注意力放在 GPU 上运行。此配置未在本文中测量。
• **--no-reasoning-preserve**会从提示中丢弃先前轮次的思考内容，这也是 DeepSeek 参考编码器的做法。加上它后，llama.cpp 渲染的提示在 DeepSeek 的测试用例上与 encoding.py 逐 token 一致。
• **思考模式默认开启。**传入 "chat_template_kwargs": {"thinking_mode": "chat"} 可获得直接回答，或用 "reasoning_effort": "low" | "medium" | "high" | "max"（或 1–100）设置思考深度。推理内容在 message.reasoning_content 中返回。
• **设置系统提示。**没有系统提示时，模型有时会在思考模式中叫错自己的名字。

使用短提示、每次一个请求的条件下测量：

CPU 运行与一个无关的 GPU 训练任务共享机器，因此这是下限而非峰值。Apple Metal 和部分卸载（--cpu-moe）的速度未测量。

图像输入已在 CPU 上使用 DeepSeek 自带的示例图片验证。被问到每种食物是什么以及食用哪个部位时，模型回答正确：

• 胡萝卜：主根
• 玉米：玉米棒上的籽粒

模型详情

基座模型deepseek-ai/DeepSeek-V4.1-Flash-1017 (https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash-1017) 的 abliterated 构建 架构llama.cpp 中的 deepseek41。40 层，隐藏维度 5120，压缩稀疏注意力，LoRA 分解的输出投影（8 组），384 个路由专家 top-6 + 1 个共享专家，Engram n-gram 查表位于第 1 层和第 14 层，4 路 Hyper-Connections 这些文件中的权重748.5B：543.6B 路由专家，196.6B Engram，8.2B 注意力 / 共享专家 / 嵌入 / 输出头。每个 token 激活约 6/384 个专家 量化通过实测 KLD 搜索得到的逐层混合精度。专家为 IQ2_S–MXFP4（256G）或 IQ1_S–IQ2_XXS（128G）。稠密部分为 Q5_K–Q8_0（256G）或 Q4_K–Q6_K（128G）。Engram 为 IQ4_NL。使用重要性矩阵。 上下文1,048,576 token（继承自基座；在 2k 上下文下评估）·词表129,280 运行时llama.cpp 配合 PR #30817；文本和图像输入（需 --mmproj），文本输出；工具调用采用 DeepSeek 的 DSML 格式

偏见、风险与局限

• 安全护栏已被大幅削弱（继承自 abliterated 基座）；见免责声明。上述拒答和 MMLU 数字来自未量化的检查点。尤其是 Mix-128G 与之距离较远（KLD 0.52），其行为可能有所不同。
• **Mix-128G 严重退化。**这是该模型上 1.6 比特训练后量化的极限，而非调优问题。
• 发布文件中的 IQ4_NL Engram 未重新评分。上表使用 MXFP8 测量。
• 视觉能力仅做了少量检查（两张示例图片，在 CPU 上）。拒答编辑也触及了图像入口点，且未进行任何图像条件下的拒答或质量评估。没有 DSpark 草稿器。
• 继承 DeepSeek-V4.1-Flash-1017 的偏见和局限。长上下文行为未测试：所有测量均在