orcarouter/OrcaSAQ-2-Cyber-27B-Uncensored-GGUF

Hugging Face Models Trending 模型
quantization gguf llama-cpp local-llm open-source cybersecurity

摘要

OrcaRouter 发布了 OrcaSAQ-2-Cyber-27B-Uncensored-GGUF，这是一款量化后的 27B 推理模型，能够将未经审查的 Qwen3.8-27B 从 54.7 GB 的 BF16 压缩至 15.7 GB，仅带来 +0.80% 的困惑度劣化、94.4% 的 Top-1 一致率，并支持 262K 上下文，可通过 llama.cpp、Ollama 和 LM Studio 在本地部署。

任务：文本生成 标签：llama.cpp, gguf, qwen, qwen3.8, qwen3_5, orcasaq2, quantization, mixed-precision, uncensored, abliterated, reasoning, function-calling, dflash2, long-context, text-generation, en, zh, base_model:orcarouter/Qwen3.8-27B-Uncensored, base_model:quantized:orcarouter/Qwen3.8-27B-Uncensored, license:apache-2.0, endpoints_compatible, region:us, imatrix, conversational
查看原文
查看缓存全文

缓存时间: 2026/09/30 15:32

orcarouter/OrcaSAQ-2-Cyber-27B-Uncensored-GGUF · Hugging Face

来源：https://huggingface.co/orcarouter/OrcaSAQ-2-Cyber-27B-Uncensored-GGUF OrcaRouter (https://www.orcarouter.ai/)

OrcaSAQ2 27B Cyber · Uncensored · GGUF

面向 llama.cpp、Ollama 和 LM Studio 的无审查 27B 推理模型。

54.7 GB → 15.7 GB · +0.80% PPL · 94.4% Top-1 一致率 · 0.020 KLD · 262K 上下文

OrcaRouter AI Gateway (https://www.orcarouter.ai/)·X (https://x.com/OrcaRouter)·Discord (https://discord.gg/yAh6Tex6kx)·GitHub (https://github.com/Continuum-AI-Corp)·全部模型 (https://www.orcarouter.ai/models)

⚡ 前沿网络安全模型：OrcaCyber Zero 1.0 — 申请内测 → (https://www.orcarouter.ai/models/orca/orcacyber-zero-1.0)

---

https://huggingface.co/orcarouter/OrcaSAQ-2-Cyber-27B-Uncensored-GGUF#27b-uncensored-157-gb27B 无审查版。15.7 GB。OrcaSAQ2 27B Cyber Uncensored GGUF将无审查的 Qwen3.8-27B 从54.7 GB BF16 检查点压缩至 15.7 GB，同时对原始模型保持极高的保真度。面向场景：本地部署 · 代码编写 · 工具调用 · 推理 · 防御性红队测试 · 漏洞研究 · 授权安全测试

OrcaSAQ2 是由 OrcaRouter 及其研究团队开发的专有灵敏度感知混合精度量化系统。

它的优化目标只有一个：在实际可用的 GPU 显存范围内，尽可能多地保留模型的有用行为。

最终得到的检查点提供：

  • 存储占用缩小 71.3%
  • 相比 BF16 仅**+0.80% 困惑度**
  • 94.4% 的 token 级 Top-1 一致率
  • 0.020 平均 KLD
  • 262K 上下文
  • 思考模式
  • 工具调用
  • DFlash2 投机解码
  • 通过llama.cpp 本地服务

https://huggingface.co/orcarouter/OrcaSAQ-2-Cyber-27B-Uncensored-GGUF#at-a-glance一图速览

指标BF16OrcaSAQ2
检查点大小54.7 GB15.7 GB
相对大小100%28.7%
存储缩减—71.3%
困惑度5.65325.6961
PPL 变化—+0.80%
Top-1 一致率100%94.4%
平均 KLD—0.020
上下文262K262K

体积缩小 3.5 倍。困惑度仅 +0.80%。

重点不在于文件大小。

重点在于：什么被保留了下来。

https://huggingface.co/orcarouter/OrcaSAQ-2-Cyber-27B-Uncensored-GGUF#bf16-fidelityBF16 保真度

以下所有数值均使用本仓库提供的 OrcaSAQ2 权重，针对无审查 BF16 参考模型，通过相同的评估路径测量得出。

https://huggingface.co/orcarouter/OrcaSAQ-2-Cyber-27B-Uncensored-GGUF#wikitext-2WikiText-2

16,376 个预测 token

模型大小平均 KLD ↓Top-1 一致率 ↑PPL ↓
Qwen3.8-27B Uncensored BF1654.7 GB—100%5.6532
OrcaSAQ2 27B Cyber Uncensored15.7 GB0.02094.4%5.6961

https://huggingface.co/orcarouter/OrcaSAQ-2-Cyber-27B-Uncensored-GGUF#perplexity困惑度

`` BF16 5.6532 ████████████████████████████████████████ OrcaSAQ2 5.6961 ████████████████████████████████████████

差异: +0.80% ``

https://huggingface.co/orcarouter/OrcaSAQ-2-Cyber-27B-Uncensored-GGUF#top-1-agreementTop-1 一致率

`` OrcaSAQ2 vs BF16

████████████████████████████████████████████████░░ 94.4% ``

https://huggingface.co/orcarouter/OrcaSAQ-2-Cyber-27B-Uncensored-GGUF#model-footprint模型体积

`` Qwen3.8-27B Cyber Uncensored BF16

██████████████████████████████████████████████████ 54.7 GB

OrcaSAQ2

██████████████ 15.7 GB ``

缩小 71.3%。

https://huggingface.co/orcarouter/OrcaSAQ-2-Cyber-27B-Uncensored-GGUF#architecture架构

项目内容
基座模型orcarouter/Qwen3\.8\-27B\-Uncensored
原始基座Qwen/Qwen3\.8\-27B (https://huggingface.co/Qwen/Qwen3.8-27B)
架构qwen35
层数64
隐藏维度5120
混合注意力48 层 Gated DeltaNet + 16 层全注意力
上下文262,144 tokens
词表248,320
思考模式支持
工具调用支持
检查点15.7 GB
服务llama.cpp · Ollama · LM Studio
视觉不包含
许可证Apache-2.0

https://huggingface.co/orcarouter/OrcaSAQ-2-Cyber-27B-Uncensored-GGUF#production-serving生产环境服务

https://huggingface.co/orcarouter/OrcaSAQ-2-Cyber-27B-Uncensored-GGUF#up-to-276-toks-single-stream-on-a-24-gb-gpu在 24 GB GPU 上单流可达 27.6 tok/s

单流、贪心解码，在官方 llama.cpp CUDA 容器中测量。

配置解码速度峰值显存
llama.cpp · 关闭 DFlash220.5 tok/s14.9 GB
llama.cpp · 开启 DFlash227.6 tok/s18.1 GB

https://huggingface.co/orcarouter/OrcaSAQ-2-Cyber-27B-Uncensored-GGUF#dflash2-speculative-decodingDFlash2 投机解码

`` 单流解码

DFlash2 关闭 ███████████████████████████████ 20.5 tok/s

DFlash2 开启 ████████████████████████████████████████ 27.6 tok/s ``

单流解码吞吐提升 +35%

DFlash2 在一次前向中生成一批 token 草稿，再由模型进行验证。解码过程是无损的：贪心输出与未启用草稿模型时完全一致。

`` llama-cli
-m OrcaSAQ-2-27B-Uncensored.gguf
–spec-draft-model Qwen3.8-27B-DFlash2-Q8_0.gguf
–spec-draft-ngl 99
-ngl 99


该基座模型的公开草稿模型：`z\-lab/Qwen3\.8\-27B\-DFlash2\-GGUF` (https://huggingface.co/z-lab/Qwen3.8-27B-DFlash2-GGUF)\(Q8\_0 为 2\.06 GB\)\.

DFlash2 以显存换取交互式解码性能。特别适用于：

- 代码助手
- 交互式智能体
- 终端智能体
- 工具密集型应用
- 低并发推理

---

## https://huggingface.co/orcarouter/OrcaSAQ-2-Cyber-27B-Uncensored-GGUF#27b-on-a-24-gb-gpu在 24 GB GPU 上运行 27B

OrcaSAQ2 的检查点大小为**15\.7 GB**。

完整卸载后占用**14\.9 GB**显存，加上 DFlash2 草稿模型后总计**18\.1 GB**——在 24 GB 显卡上仍有余量可用于上下文和批量处理。

这意味着原本无法容纳 54\.7 GB BF16 检查点的硬件，也可以部署该模型。

``
24 GB GPU
┌───────────────────────────────────────────┐
│                                           │
│   OrcaSAQ2（完整卸载）      14.9 GB       │
│   ████████████████████████████            │
│                                           │
│   DFlash2 草稿模型           3.2 GB       │
│   ██████                                  │
│                                           │
│   剩余空间                   ~5.9 GB       │
│   ███████████                             │
│                                           │
└───────────────────────────────────────────┘
配置解码速度峰值显存
完整卸载20.5 tok/s14.9 GB
完整卸载 + DFlash227.6 tok/s18.1 GB

实际可用内存取决于：

  • 上下文长度
  • 批量大小
  • KV-cache 配置
  • 草稿模型配置

在 24 GPU 上，一个实用的起点是开启 DFlash2 后使用约32K 交互式上下文，再根据实际负载调优。

模型架构最高支持262K 上下文。

在 16 GB GPU 上，模型仍可不借助草稿模型以完整卸载方式运行，速度为20.5 tok/s。

https://huggingface.co/orcarouter/OrcaSAQ-2-Cyber-27B-Uncensored-GGUF#quickstart快速开始

https://huggingface.co/orcarouter/OrcaSAQ-2-Cyber-27B-Uncensored-GGUF#download下载

hf download orcarouter/OrcaSAQ-2-27B-Uncensored-GGUF \ --local-dir ./OrcaSAQ-2-27B-Uncensored-GGUF

https://huggingface.co/orcarouter/OrcaSAQ-2-Cyber-27B-Uncensored-GGUF#run运行

llama-cli \ -m ./OrcaSAQ-2-27B-Uncensored-GGUF/OrcaSAQ-2-27B-Uncensored.gguf \ -ngl 99 \ -c 32768

https://huggingface.co/orcarouter/OrcaSAQ-2-Cyber-27B-Uncensored-GGUF#serve提供服务

llama-server \ -m ./OrcaSAQ-2-27B-Uncensored-GGUF/OrcaSAQ-2-27B-Uncensored.gguf \ -ngl 99 \ -c 32768 \ --host 0.0.0.0 \ --port 8080

https://huggingface.co/orcarouter/OrcaSAQ-2-Cyber-27B-Uncensored-GGUF#openai-compatible-apiOpenAI 兼容 API

`` from openai import OpenAI

client = OpenAI( base_url=“http://localhost:8080/v1”, api_key=“not-needed”, )

response = client.chat.completions.create( model=“OrcaSAQ-2-27B-Uncensored”, messages=[ { “role”: “user”, “content”: “分析这个仓库并规划接下来的五个操作。” } ], )

print(response.choices[0].message.content) ``

https://huggingface.co/orcarouter/OrcaSAQ-2-Cyber-27B-Uncensored-GGUF#recommended-sampling推荐采样参数

temperature = 1.0 top_p = 0.95 top_k = 20

思考模式默认开启。

面向智能体部署时，请结合生产环境中实际使用的工具 schema、上下文分布和推理预算进行基准测试。

https://huggingface.co/orcarouter/OrcaSAQ-2-Cyber-27B-Uncensored-GGUF#method方法

OrcaSAQ2 采用 OrcaRouter 开发的专有灵敏度感知混合精度量化系统。

该实现经过优化，可在严格的部署显存目标下保留模型质量。

详细的量化方法、校准策略、精度分配与打包技术目前尚未公开。

https://huggingface.co/orcarouter/OrcaSAQ-2-Cyber-27B-Uncensored-GGUF#limitations局限性

  • **本模型为无审查版本。**它基于移除了拒绝方向的 abliterated 检查点构建，会尝试执行安全调优模型会拒绝的请求，且不具备有意义的拒绝行为。
  • **护栏、过滤与策略执行由部署方自行负责。**本模型面向研究、红队测试，以及自行提供安全栈的部署场景。
  • OrcaSAQ2 继承了 Qwen3.8-27B 的能力、偏见与局限。
  • 量化在数学上并非无损。
  • 94.4% Top-1 一致率意味着部分 token 决策与 BF16 存在差异。
  • +0.80% PPL 是模型保真度指标，并不保证下游任务性能完全一致。
  • 本检查点为纯文本。不包含视觉模块。
  • 架构上的最大上下文长度，并不意味着完整上下文在任何 GPU 显存条件下都可用。

https://huggingface.co/orcarouter/OrcaSAQ-2-Cyber-27B-Uncensored-GGUF#open-source-from-orcarouter来自 OrcaRouter 的开源项目

https://huggingface.co/orcarouter/OrcaSAQ-2-Cyber-27B-Uncensored-GGUF#orcacode-reviewOrcaCode Review

开放式多模型代码审查。

https://huggingface.co/orcarouter/OrcaSAQ-2-Cyber-27B-Uncensored-GGUF#orcareplayOrcaReplay

记录、回放、分叉并调试 AI 智能体运行。

https://huggingface.co/orcarouter/OrcaSAQ-2-Cyber-27B-Uncensored-GGUF#orcarouter-liteOrcaRouter Lite

自托管多模型 AI 基础设施。

开源模型。开源框架。开源账单。

https://huggingface.co/orcarouter/OrcaSAQ-2-Cyber-27B-Uncensored-GGUF#citation引用

@misc{qwen38, title = {Qwen3.8-Max: A New Bar for Coding and Cowork}, author = {{Qwen Team}}, year = {2026}, month = {August}, url = {https://qwen.ai/blog?id=qwen3.8} }

https://huggingface.co/orcarouter/OrcaSAQ-2-Cyber-27B-Uncensored-GGUF#license许可证

Apache-2.0

继承自：

Qwen/Qwen3\.8\-27B (https://huggingface.co/Qwen/Qwen3.8-27B)

量化不会改变底层许可证所规定的义务。

一个网关。所有模型。

更智能的路由 · 更安全的交付 · 更低的成本

网站 (https://www.orcarouter.ai/)·模型 (https://www.orcarouter.ai/models)·GitHub (https://github.com/Continuum-AI-Corp)·Discord (https://discord.gg/yAh6Tex6kx)·X (https://x.com/OrcaRouter)

相似文章

orcarouter/OrcaSAQ-2-27B

Hugging Face Models Trending

OrcaSAQ2 27B 是 Qwen3.8-27B 的高保真3位量化版本，将大小从54 GB减少到12.3 GB，困惑度增加极小且一致性高，针对长期代理和推理任务进行了优化。

orcarouter/Qwen3.8-27B-Uncensored-GGUF

Hugging Face Models Trending

这是Qwen3.8-27B无审查模型的GGUF转换版本，一个abliterated版本（移除了安全对齐），用于研究目的，运行在llama.cpp上，支持多种量化方案和视觉功能。

orcarouter/Qwen3.8-27B-无审查-FP8

Hugging Face Models Trending

这是Qwen3.8-27B的修改版本，移除了安全拒绝机制并进行了FP8量化，专为AI安全性和可解释性研究设计。