llmfan46/Nex-N2-mini-ultra-uncensored-heretic-GGUF · Hugging Face 来源：https://huggingface.co/llmfan46/Nex-N2-mini-ultra-uncensored-heretic-GGUF

🚨⚠️ 我已达到 Hugging Face 的免费存储上限 ⚠️🚨

除非我能承担额外存储的费用，否则无法再上传新模型。我作为独立贡献者托管了 70 多个免费模型，这项工作没有报酬。没有您的支持，将无法上传更多新模型。

🎉 Patreon（月捐）(https://patreon.com/LLMfan46) | ☕ Ko-fi（一次性）(https://ko-fi.com/llmfan46)

每一笔贡献都将直接用于 Hugging Face 存储费用，以保持模型对所有人免费。

https://huggingface.co/llmfan46/Nex-N2-mini-ultra-uncensored-heretic-GGUF#93-fewer-refusals-5100-uncensored-vs-74100-original-while-preserving-model-quality-00020-kl-divergence

拒绝率降低 93%（无审查 5/100 vs 原始 74/100），同时保持模型质量（KL 散度 0.0020）。

❤️ 支持我的工作

创建这些模型需要大量的时间、工作和算力。如果您觉得它们有用，请考虑支持我：

image/png (https://huggingface.co/llmfan46/Omega-Darker-Gaslight_The-Final-Forgotten-Fever-Dream-24B-ultra-uncensored-heretic-v1/resolve/main/waifu001.webp)

您的帮助将激励我，并将用于进一步改进我的工作流程，支付存储和算力费用，甚至可能有助于租用云端 GPU 对更大模型进行去审查处理。

llmfan46/Nex-N2-mini-ultra-uncensored-heretic (https://huggingface.co/llmfan46/Nex-N2-mini-ultra-uncensored-heretic) 的 GGUF 量化版本。

这是一个对 nex-agi/Nex-N2-mini (https://huggingface.co/nex-agi/Nex-N2-mini) 进行去审查处理的版本

使用 Heretic (https://heretic-project.org/) v1.2.0 制作，采用了幅度保持正交消融（MPOA）(https://huggingface.co/blog/grimjim/norm-preserving-biprojected-abliteration) 方法的变体。

消融参数

目标组件

• attn.o_proj
• attn.out_proj
• mlp.down_proj

性能

较低的拒绝率表示较少的内容限制，较低的 KL 散度表示更接近原始模型基线。较高的拒绝率会导致更多的拒绝、反对、反驳、说教、审查、弱化和回避。

量化

对于以下 K-quant，小型 SSM 张量在有用时保持更高精度。

• Q6_K：将 ssm_alpha、ssm_beta 和 ssm_out 保持为 Q8_0。
• Q5_K、Q4_K 和 Q3_K 量化：将 ssm_alpha 和 ssm_beta 保持为 Q8_0，而 ssm_out 保持为 Q6_K。

这有助于以较小的文件大小增加来保持混合/SSM 块的质量。

视觉投影仪

需要视觉投影仪文件才能使用视觉/多模态功能。 可与上述任何量化版本配合使用。

使用方法

可与 llama.cpp、LM Studio、Ollama 以及其他 GGUF 兼容工具配合使用。

Nex-N2

一个具备“智能体思维”的智能体模型。

今天，我们正式发布并开源我们新一代的模型——Nex-N2，这是一个为真实生产力场景构建的智能体模型。凭借一流的编码和智能体能力，Nex-N2 能在真实环境中持续推动复杂、长周期的任务，并交付稳定、端到端的结果。

过去一年，由 Vibe Coding 和 Harness Engineering 引领的范式转变，正在重新定义 LLM 智能体的边界。从对话到推理，再到能根据环境反馈执行长周期任务的智能体，模型需要处理的任务越来越难、上下文越来越长、环境也越来越真实。新一代模型竞争的核心，不再是模型能否思考，而是它能否可靠且高效地将思考转化为可执行、可验证、可迭代的行动。

Nex-N2 不把推理、工具使用和环境执行视为独立能力，而是通过一个 “智能体思维” 框架将它们统一起来，将需求理解、任务规划、代码实现、环境反馈、评估调试和持续迭代连接成一个闭环。该框架包含两部分：

• 自适应思维：让模型自行决定何时思考以及思考深度——快速执行简单操作，同时在关键决策上深入推理。
• 连贯思维：在通用推理和多样化智能体任务之间携带一致的推理范式，跨任务和模态保持一致，实现稳定的能力迁移。

在真实的智能体工作流（智能体编码、深度研究、工具调用和终端执行）中，Nex-N2 达到了第一梯队性能，在多个权威基准上相比上一代 Nex-N1 有显著提升。在真实生产效率场景中，如 OpenClaw 单人公司工作流、端到端游戏开发、Web 和多模态生成，它同样展现出卓越的可用性、鲁棒性和稳定性。

开源

本着我们对开源的承诺，我们从今天起将 Nex-N2-Pro 和 Nex-N2-mini 作为开源模型发布。

• Nex-N2-Pro： Hugging Face (https://huggingface.co/nex-agi/Nex-N2-Pro) | ModelScope (https://www.modelscope.cn/models/nex-agi/Nex-N2-Pro)
• Nex-N2-mini： Hugging Face (https://huggingface.co/nex-agi/Nex-N2-mini) | ModelScope (https://www.modelscope.cn/models/nex-agi/Nex-N2-mini)
• 早期访问： SiliconFlow (https://cloud.siliconflow.cn/me/models?target=nex-agi%2FNex-N2-Pro)

我们欢迎开发者和企业集成并试用 Nex-N2，并分享反馈。

性能

我们在三个方向（智能体任务、编码任务和通用任务）的真实智能体工作流中评估了 Nex-N2，涵盖了工具调用、基于搜索的决策、软件工程和终端执行等基准。

Nex-N2-Pro 提供了强大的性能，与 GPT-5.5 和 Opus 4.7 等顶级模型保持同步：它在编码（例如 Terminal-Bench 2.1 上 75.3）和长周期任务（GDPval 上 1585）方面表现出色，在 SWE-Atlas 和 DeepSWE 等较新基准上展现出特别强的泛化能力和竞争力。在通用能力和核心推理方面，它与前沿模型持平。

Nex-N2 Benchmark Overview (https://huggingface.co/llmfan46/Nex-N2-mini-ultra-uncensored-heretic-GGUF/blob/main/figures/Nex-N2-Benchmark-white.png)

Nex-N2 有两个版本，均在 Qwen3.5 系列上进行了后训练：Nex-N2-Pro（基于 Qwen3.5-397B-A17B）和 Nex-N2-mini（基于 Qwen3.5-35B-A3B-Base），覆盖不同的延迟和质量权衡。下表报告了它们在完整评估套件上的得分，并与领先的专有模型和开放模型进行了比较。

使用方法

本地部署

注意： 为了 Nex 系列模型的最佳性能，我们建议使用我们的定制 sglang 分支来提供服务。

首先，安装我们的 sglang 分支：

# 使用定制的 `sglang` 分支
git clone https://github.com/nex-agi/sglang.git
cd sglang

# 安装 Python 包
pip install --upgrade pip
pip install -e "python"

Nex-N2-Pro

启动服务器（例如在配备 CUDA 13.0 的两台 8×H100 服务器上）：

# 多节点（2 节点）。在每个节点上运行相同命令，其中：
# <node_rank> = 0（头节点），1（其他节点）
# <head_node_ip> = 头节点的 IP（所有其他节点可访问）
python -m sglang.launch_server \
    --model-path /path/to/your/model \
    --tp 16 \
    --nnodes 2 \
    --node-rank <node_rank> \
    --dist-init-addr <head_node_ip>:20000 \
    --reasoning-parser qwen3 \
    --tool-call-parser qwen3_coder \
    --mamba-scheduler-strategy extra_buffer

Nex-N2-mini

启动服务器（例如在配备 CUDA 13.0 的一台 2×H100 服务器上）：

python -m sglang.launch_server \
    --model-path /path/to/your/model \
    --tp 2 \
    --reasoning-parser qwen3 \
    --tool-call-parser qwen3_coder \
    --mamba-scheduler-strategy extra_buffer

Docker 部署

我们还提供了一个预构建的 Docker 镜像，其中预装了我们的定制 sglang 分支：nexagi/sglang:v0.5.12。启动命令与上面相同。

Nex-N2-Pro

# 多节点（2 节点）。在每个节点上运行相同命令，其中：
# <node_rank> = 0（头节点），1（其他节点）
# <head_node_ip> = 头节点的 IP（所有其他节点可访问）
docker run --gpus all --shm-size 32g --network host \
    -v /path/to/your/model:/model \
    nexagi/sglang:v0.5.12 \
    python3 -m sglang.launch_server \
        --model-path /model \
        --tp 16 \
        --nnodes 2 \
        --node-rank <node_rank> \
        --dist-init-addr <head_node_ip>:20000 \
        --host 0.0.0.0 --port 30000 \
        --reasoning-parser qwen3 \
        --tool-call-parser qwen3_coder \
        --mamba-scheduler-strategy extra_buffer

Nex-N2-mini

单节点 2×H100：

docker run --gpus all --shm-size 32g --ipc=host \
    -p 30000:30000 \
    -v /path/to/your/model:/model \
    nexagi/sglang:v0.5.12 \
    python3 -m sglang.launch_server \
        --model-path /model \
        --tp 2 \
        --host 0.0.0.0 --port 30000 \
        --reasoning-parser qwen3 \
        --tool-call-parser qwen3_coder \
        --mamba-scheduler-strategy extra_buffer

推荐的采样参数

为获得最佳生成质量，我们推荐以下采样参数：

• temperature: 0.7
• top_p: 0.95
• top_k: 40

函数调用

Nex 系列模型支持强大的函数调用能力。要启用函数调用，请在启动服务器时添加 --tool-call-parser qwen3_coder 标志：

python -m sglang.launch_server --model-path /path/to/your/model --tool-call-parser qwen3_coder

推理解析器

Nex 系列模型会输出显式的推理轨迹。添加 --reasoning-parser qwen3 标志，将推理内容与最终回复分开解析。它可以与上面的函数调用解析器结合使用：

python -m sglang.launch_server --model-path /path/to/your/model --tool-call-parser qwen3_coder --reasoning-parser qwen3