orcarouter/GLM-5.3-Flash-Uncensored-FP8 · Hugging Face

来源：https://huggingface.co/orcarouter/GLM-5.3-Flash-Uncensored-FP8
OrcaRouter (https://www.orcarouter.ai/)
Z.ai的GLM-5.3-Flash的已消除（移除拒绝）构建版本——直接嵌入官方block-FP8检查点，与原始模型逐字节兼容
官网 (https://www.orcarouter.ai/)
模型目录 (https://www.orcarouter.ai/models)
许可证 (https://opensource.org/license/mit)
精度
1M 上下文
视觉语言
MoE
MTP
mHC

一个网关，所有模型。
—— 更智能路由 · 更安全部署 · 更低成本

官网 (https://www.orcarouter.ai/) · 模型目录 (https://www.orcarouter.ai/models) · GitHub (https://github.com/Continuum-AI-Corp) · Discord (https://discord.gg/yAh6Tex6kx) · X (https://x.com/OrcaRouter)

这是 zai\-org/GLM\-5\.3\-Flash (https://huggingface.co/zai-org/GLM-5.3-Flash) 的已消除（移除拒绝）构建版本——一个拥有混合线性+稀疏注意力、4维流形约束超连接、原生视觉+视频塔、MTP推测头和1M token上下文的320B / 18B 活动参数混合专家模型。拒绝方向已直接嵌入官方block-FP8分片中——格式相同、分片布局相同、model\.safetensors\.index\.json相同。每个张量在名称、数据类型和形状上都与基础检查点完全匹配，因此在任何已支持该模型的框架中，这都是即插即用的替代品。

关于\-FP8名称的说明： block-FP8是Z.ai发布GLM-5.3-Flash的格式——后缀标明的是检查点自身的精度，而非我们应用的量化步骤。不存在上游BF16版本可供推导，因此这是发布的全精度源文件。

⚠️ 免责声明——使用前请阅读

此模型已通过消除处理（将拒绝方向从残差流中正交化移除）大幅移除了安全对齐。直接结果如下：

• 它将遵从原始 GLM\-5\.3\-Flash 会拒绝的有害、不道德、冒犯性或非法请求。它没有有效的内置防护措施。
• 它严格为合法研究而发布——可解释性、AI安全与拒绝机制研究、红队测试、鲁棒性评估和受控实验。
• 您需对模型的使用方式及其生成的所有内容承担全部责任和法律后果。在未添加您自己的安全、审核和滥用预防层的情况下，请勿将其部署给终端用户或用于生产环境。
• 使用必须遵守基础模型继承的 MIT 许可证 (https://opensource.org/license/mit) 以及适用于您的所有法律和法规。
• 作者和上传者不承担任何滥用或损害的责任。其输出不代表上传者或 Z.ai / 智谱AI的观点。
  下载或使用此模型即表示您承认并接受上述条款。

🐋 使用 OrcaCode Review 运行

模型只是系统的一半。 OrcaCode Review (https://github.com/Continuum-AI-Corp/Orca-Code-Review) 将 OrcaRouter (https://www.orcarouter.ai/) 上列出的每个模型都转变为生产级代码审查代理：

• 审查每个 PR
• 发现安全与正确性问题
• 发布内联发现
• P0/P1 问题可阻止合并
• 随时切换模型

开放模型。开放工具。开放账单。

• 网站 — https://www.orcarouter.ai/
• GitHub — https://github.com/Continuum-AI-Corp/Orca-Code-Review

模型详情

基础模型
zai\-org/GLM\-5\.3\-Flash (https://huggingface.co/zai-org/GLM-5.3-Flash)

架构
Glm5NextForConditionalGeneration（glm5\_next）—— 45 个 Transformer 层 + 1 个 MTP 块，隐藏维度 4096，混合注意力（34 个门控线性 KDA + 11 个带 top-2048 索引器的稀疏全注意力，间隔 4），MLA（q-LoRA 1536 / kv-LoRA 512，NoPE），288 个路由专家 top-8 + 1 个共享专家（前 3 层为稠密层），4 维流形约束超连接（mHC），原生视觉+视频塔

参数
总计约 320B / 活跃约 18B——磁盘上 321.3B 个张量元素，包括 7.4B 的 MTP 块和 0.56B 的视觉塔

修改
消除处理（拒绝方向移除），直接嵌入磁盘上的 block-FP8 分片——量化格式保持不变

格式
safetensors, block-FP8（e4m3，128×128 块，动态激活）+ BF16，62 个分片，76,108 个张量，306 GiB

保留内容
完整的视觉+视频塔（347 个 visual\.\* 张量中的 346 个，BF16），MoE 路由器（mlp\.gate），gate\_proj/up\_proj 读取器，所有超连接混合器，稀疏注意力索引器，每个归一化层，以及 lm\_head

上下文
1,048,576 个 token

词表
154,880

推荐用途
红队与拒绝机制研究、鲁棒性评估，以及作为进一步后训练/量化的基础

消除处理

遵循 Arditi 等人 (2024) 的 《语言模型中的拒绝由单一方向介导》 进行拒绝方向移除。单个拒绝方向 r（k = 1）被估计为有害激活与无害激活之间，从 45 层中的第 22 层（深度 0.49）的 4096 维残差流中读取的、经大规模激活遮蔽的均值差，并通过 9 层质量扫描选定。然后，该方向 r 被从每个残差写入矩阵中正交化移除——W' = W - r(rᵀW)——在 float32 中计算。

为何必须嵌入磁盘

GLM-5.3-Flash 无法在内存中进行消除处理，原因有三：

• 其权重是 block-FP8：原始 e4m3 编码，其缩放因子存储在同级的 weight\_scale\_inv 文件中。投影编码会破坏矩阵——且泄漏探测器在相同编码空间中读取时，会报告虚假的约 0 值。
• 其 12,384 个路由专家 down\_proj 矩阵在加载时融合成堆叠的 3D 参数，因此传统的 2D 权重匹配器无法编辑它们，并仍会报告成功。
• transformers 在加载时会丢弃 MTP 块 (layers\.45)，因此 save\_pretrained 会静默地忽略检查点中 6.98 GiB 的数据。
  因此，分片需被逐个流式处理并重写。FP8 写入器使用其自身的缩放因子进行反量化，在 fp32 中投影，重新量化，并与其更新的缩放因子一起写回；BF16 写入器（34 个 KDA o\_proj、视觉合并器、MTP eh\_proj）被投影后直接以 BF16 格式存储回，从未进入 FP8 循环。

编辑了什么

残差写入矩阵：
mlp\.experts\..down\_proj（288 个专家 × 43 个稀疏层）：12,384
self\_attn\.o\_proj（34 个 KDA + 11 个 MLA + 1 个 MTP）：46
mlp\.shared\_experts\.down\_proj：43
mlp\.down\_proj（稠密层 0–2）：3
visual\.merger\.down\_proj（写入语言残差）：1
MTP eh\_proj：1
embed\_tokens（行空间）：1

总计：12,479
其中 12,442 个是 FP8，36 个是 BF16。编辑后的最大残差泄漏：0.149（FP8）和 0.024（BF16）。后烘焙验证过程确认所有 62 个分片和 76,108 个张量在名称、数据类型和形状上都与基础检查点匹配。

结果

在保留测试集 JailbreakBench 测试划分（64 个有害 + 64 个良性提示，贪心解码，reasoning\_effort=low，分类前剥离`` 块）上测试：

有害拒绝率下降约 89%；过度拒绝被消除；在有害和良性提示上的生成都保持连贯且切题。这是用于选择此构建版本的接受度指标——基准测试套件详见评估部分。

抗性分析及其对基础模型的启示

单方向假设对大部分有害提示分布有效，并且在有效的地方效果干净——多个类别降至零拒绝率。但它并非处处有效。一部分内容类别抵抗了我们尝试的所有变体，而其抵抗方式比抵抗本身更有趣：

• 没有其他层介导它们。 仅针对抗性类别拟合并扫描候选深度的方向，其绕过效果比通用方向更差（0.75–0.98 对比 0.33）。
• 更多拟合数据不会改变估计。 汇集五个有害数据集产生的方向与原始方向的余弦相似度为 0.957，且没有显著改善。
• 第二个方向使情况变糟，而非变好。 添加有害残差扩展的主成分导致拒绝率从 0.207 升至 0.993；将第 22 层与来自另一层的方向配对则返回 1.000，即未消除的基线。在这两种情况下，模型都保持流畅且未受损——零未完成生成，连贯且切题的回答。它并未被“破坏”成拒绝；它只是拒绝了。
• 将编辑限制在后期层会使效果崩溃（第 ≥22 层时为 0.92），即使该方向是在第 22 层估计的。早期层的写入器是关键。因此，仅第 22 层的方向不仅是找到的最佳点；它是一个狭窄的最优点，子空间的任何扰动都会破坏它。

我们得出的结论是：GLM-5.3-Flash 的安全训练并非完全由残差流中的一个线性方向介导。 其中一部分是，而那部分正是消除处理所移除的。其余部分以一种此技术完全无法触及的形式编码——并非部分移除，也非削弱，而是完全未被触及。其他前沿模型的已发布消除处理通常能在所有基准测试中达到接近零的拒绝率；而此模型未能做到，这是基础模型的属性，而非方法问题，也是本研究中证明 Z.ai 的对齐比单一可操纵特征更深入的最有力证据。对于任何研究拒绝机制的人来说，那个残余部分是有趣的——而对于任何部署基础模型的人来说，这是一个有意义的鲁棒性结果。

拒绝的实际位置

通过钩子精确消融每个烘焙阶段将编辑的残差写入器（无损，无需烘焙）：

在 GLM-5.3-Flash 上，拒绝方向几乎完全由路由专家的 down\_proj 矩阵写入：注意力和共享/稠密 MLP 共同移动拒绝率 0.03，而路由专家移动 0.81。编辑写入器甚至优于钩住层边界——mHC 结构允许一个层在 MLP 之前重新读取自身的注意力输出，而写入器编辑能清理该中间状态，层输出钩子则不能。

重新量化泄漏及为何需要 32 次迭代

将 block-FP8 矩阵正交化并重新量化为 e4m3 会残留部分方向信息。针对此方向测量一个真实的 MLA o\_proj：

只有 45 个注意力写入器（其中 34 个是 BF16），该泄漏在噪声中被淹没。但在 12,442 个 FP8 矩阵中它会累积：8 次迭代烘焙导致有害拒绝率为 0.188，而无损预测为 0.031。将其提高到 32 次关闭了约一半的差距——0.188 → 0.094。超过 32 次后，泄漏下降缓慢，而权重扰动持续上升，因此 32 是发布的工作点。

微调与后训练

• 该检查点在 transformers / Glm5NextForConditionalGeneration 框架中可直接替代 zai\-org/GLM\-5\.3\-Flash（需要 transformers 5\.16+）。
• 重新量化： 直接从这些权重推导 GGUF / MLX / 更低位宽构建版本。
• 注意： 消除处理是权重编辑，而非数据层面的遗忘。在拒绝较多或安全数据上微调可以部分重新引入拒绝行为；中性/任务数据则保持不受审查的行为。

预期用途

• 研究拒绝机制、对齐和可解释性。
• 在受控环境中进行红队测试和安全性/鲁棒性评估。
• 作为进一步后训练和量化的基础。

评估

在此确切权重上测量，使用 8×H100 张量+专家并行，贪心解码，reasoning\_effort=low，分类前剥离 `` 块。拒绝由基于规则的开场白分类器判断（caveat = 已回答但包裹在免责声明中）——仅为指示性，非 LLM 评判/出版级数据。

安全性——有害提示拒绝率（越低 = 越不受审查）

两列均使用相同脚本、采样种子和设置在此确切检查点上测量。基础模型在七组中的六组上对 92–99% 的有害提示拒绝——ForbiddenQuestions 是个例外（0.593），这更多说明了该集合（其问题很大一部分是敏感而非有害，且基础模型会回答它们），而非编辑本身。Δ 的差异与前面“抗性分析”中报告的结果相同，从基准测试角度可见：下降最多的集合是其内容被移除方向介导的集合，而下降最少的两个则是该方向无法触及的集合。

过度拒绝——被错误拒绝的良性提示（越低 = 越好）

250 个提示看似有害实则良性。基础模型在此已相当克制（2.4%）；编辑并未削弱这种辨别力，反而使其更敏锐——0.4%，且保留良性划分上的过度拒绝从 0.094 降至 0.000。

能力保留——与官方基础模型对比（相同脚本，相同设置）

所有差异均在 ±1.5 个百分点内，且两个检查点上均无回复解析失败。其中两项甚至上升，这在此规模下是采样噪声的特征，而非改进——应将整个表格理解为“不变”，而非提升。多项选择题通过单次前向传播评分，取