Diffuspace/Clover-35B-A3B-Preview · Hugging Face

来源：https://huggingface.co/Diffuspace/Clover-35B-A3B-Preview DiffuSpace (https://diffuspace.ai/)

Clover-35B-A3B-Preview 是 DiffuSpace 发布的首个模型，在发布博客 (https://diffuspace.ai/blog/clover-35b/) 中报告的基准测试上达到了开源扩散语言模型的最先进性能。Clover 结合了 35B 参数的混合专家（MoE）骨干网络（每个 token 约 3B 激活参数）、块扩散生成以及 128K 上下文窗口。

博客 (https://diffuspace.ai/blog/clover-35b/) · 代码与推理后端 (https://github.com/DiffuSpace/Clover-35B-A3B-Preview) · Hugging Face (https://huggingface.co/Diffuspace/Clover-35B-A3B-Preview)

https://huggingface.co/Diffuspace/Clover-35B-A3B-Preview#performance 性能

Clover 智能体基准测试结果 (https://diffuspace.ai/blog/clover-35b/#agentic-benchmarks)

请参阅基准讨论 (https://diffuspace.ai/blog/clover-35b/#agentic-benchmarks) 以了解评测结果、设置和对比。

https://huggingface.co/Diffuspace/Clover-35B-A3B-Preview#architecture-and-decoding 架构与解码

Clover 是一个纯文本模型，基于 Qwen3.6-35B-A3B (https://huggingface.co/Qwen/Qwen3.6-35B-A3B) 派生而来，保留了其混合 Gated DeltaNet (GDN) / 全注意力 MoE 骨干网络，共 40 层、256 个路由专家、top-8 token 路由以及每层一个共享专家。

• **双向块注意力：**额外学习的 GDN 参数（包括右卷积权重和 softmax 控制）允许 token 在带噪声的块内进行注意力计算，同时保留因果前缀。
• **128K 上下文：**提示词和生成回复合计最多 131,072 个 token。
• **块扩散与低置信度解码：**此 Hugging Face 实现从带掩码的 token 开始每个块，并并行解析置信度高的位置。置信度高于阈值的位置会被填充；如果没有位置符合条件，则填充置信度最高的位置以确保进度。解析完成后，该块成为下一个块前缀的一部分。默认值为 block\_size=32 和 threshold=0\.95。

有关使用我们的 SGLang 和 llama.cpp 实现进行自推测解码，请参阅官方代码仓库 (https://github.com/DiffuSpace/Clover-35B-A3B-Preview)。

https://huggingface.co/Diffuspace/Clover-35B-A3B-Preview#quick-start 快速开始

先安装支持 CUDA 的 PyTorch，然后安装 Hugging Face 依赖。以下示例使用 Transformers 5.19.0 和 PyTorch 2.10 或更高版本。

pip install "transformers==5.19.0" accelerate safetensors

使用显存足够的 GPU 来加载 BF16 权重（约 69 GB）及推理状态。

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "Diffuspace/Clover-35B-A3B-Preview"
tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    trust_remote_code=True,
    dtype=torch.bfloat16,
    device_map="cuda:0",
).eval()

messages = [{"role": "user", "content": "What is diffusion?"}]
prompt = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True,
    enable_thinking=True,
)
inputs = tokenizer(prompt, add_special_tokens=False, return_tensors="pt").to("cuda:0")
output = model.generate(
    **inputs,
    max_new_tokens=24576,
    block_size=32,
    threshold=0.95,
    do_sample=False,
)
completion = output[0, inputs["input_ids"].shape[1]:]
print(tokenizer.decode(completion, skip_special_tokens=True))

您也可以将 model\_id 设置为本地模型目录。生成默认配置会自动从 generation\_config\.json 加载；generate() 的关键字参数会覆盖这些配置。超出 128K 上下文限制的请求将被拒绝，包括解析最后一个完整块所需的空间。

https://huggingface.co/Diffuspace/Clover-35B-A3B-Preview#generation-controls 生成控制

我们观察到，非常长的生成有时会变得重复。模型内置了重复控制和逐渐偏向结束回复或思考阶段的机制。默认值已配置好，正常使用无需额外参数。这些控制在贪心解码时同样生效。

长度控制从 dllm\_length\_penalty\_start=8192 个回复 token 开始，并在 dllm\_length\_penalty\_window=8192 个 token 内达到最大强度。思考控制使用 dllm\_think\_end\_start=4096 和 dllm\_think\_end\_window=4096。这些是软性控制；max\_new\_tokens 设置硬性输出上限。重复控制作用于已生成的回复历史，不包含提示词。

https://huggingface.co/Diffuspace/Clover-35B-A3B-Preview#expert-selection 专家选择

在块去噪过程中，Clover 可以将路由限制为每个块共享的专家子集。这减少了整个块中使用的不同专家数量。相关模型配置设置如下：

选择器聚合块内每个 token 的 top-8 候选专家的路由分数，按聚合分数对专家进行排名，并保留足够覆盖请求比例的质量量。值为 0\.9 意味着聚合路由质量的 90%，而非所有专家的 90%。较低的值通常会选择更少的专家，可能带来质量上的折中。此设置与 token 采样的 top\_p 无关，也不会减少已存储或加载的模型权重大小。

https://huggingface.co/Diffuspace/Clover-35B-A3B-Preview#serving-and-evaluation 服务部署与评测

Hugging Face 实现提供了独立的 PyTorch 推理路径。其操作与 SGLang 内核之间的微小数值差异可能导致不同的生成文本，即使使用相同的解码设置。

**我们推荐使用官方 SGLang 实现进行服务部署和评测。**设置说明和支持的解码模式请参阅官方仓库 (https://github.com/DiffuSpace/Clover-35B-A3B-Preview)。

https://huggingface.co/Diffuspace/Clover-35B-A3B-Preview#upstream-attribution-and-modifications 上游归属与修改

Clover 派生自 Qwen3.6-35B-A3B。上游模型资产版权归 Alibaba Cloud 2026 所有，以 Apache-2.0 协议发布；随附的 LICENSE (https://huggingface.co/Diffuspace/Clover-35B-A3B-Preview/tree/main/LICENSE) 保留了上游许可和版权声明。

模型实现基于用于 Qwen3.6 架构的 Hugging Face Transformers Qwen3.5-MoE 实现，版权归 The Qwen Team 和 The HuggingFace Inc. team 2025 所有。Clover 增加了纯文本块扩散推理、双向 GDN 参数和生成控制。文件级来源和修改说明请参阅 ATTRIBUTIONS.md (https://huggingface.co/Diffuspace/Clover-35B-A3B-Preview/blob/main/ATTRIBUTIONS.md)。