新型扩散大语言模型 https://huggingface.co/Diffuspace/Clover-35B-A3B-Preview… - 35B/A3B - 128k 上下文 - 在 GB300 上达到 680 token/秒 - 可在 16GB 显存上运行（INT4）- SWE bench Verified 得分 73.6% - Apache 2.0

Diffuspace/Clover-35B-A3B-Preview · Hugging Face

来源：https://huggingface.co/Diffuspace/Clover-35B-A3B-Preview DiffuSpace (https://diffuspace.ai/)

Clover-35B-A3B-Preview是DiffuSpace发布的首个模型，在发布时，其在我们的发布博客 (https://diffuspace.ai/blog/clover-35b/) 所报告的基准测试中，达到了开源扩散语言模型的领先水平。Clover 将拥有 350 亿参数的混合专家骨干网络、每个 token 约 30 亿个激活参数、分块扩散生成以及128K 上下文窗口结合在一起。

博客 (https://diffuspace.ai/blog/clover-35b/)·代码与推理后端 (https://github.com/DiffuSpace/Clover-35B-A3B-Preview)·Hugging Face (https://huggingface.co/Diffuspace/Clover-35B-A3B-Preview)

https://huggingface.co/Diffuspace/Clover-35B-A3B-Preview#performance性能

Clover 智能体基准测试结果 (https://diffuspace.ai/blog/clover-35b/#agentic-benchmarks)

有关评估结果、设置和比较，请参阅基准测试讨论 (https://diffuspace.ai/blog/clover-35b/#agentic-benchmarks)。

https://huggingface.co/Diffuspace/Clover-35B-A3B-Preview#architecture-and-decoding架构与解码

Clover 是一个源自 Qwen3.6-35B-A3B (https://huggingface.co/Qwen/Qwen3.6-35B-A3B) 的纯文本模型，保留了其混合门控 DeltaNet (GDN) / 全注意力 MoE 骨干网络，包含 40 层、256 个路由专家、每个 token 选择前 8 个专家的路由机制，以及每层一个共享专家。

• **双向分块注意力：**额外学习的 GDN 参数，包括右向卷积权重和 softmax 控制参数，使 token 能够在含噪块内进行注意力计算，同时保持前缀的因果性。
• **128K 上下文：**提示词与生成回复合计最多可包含 131,072 个 token。
• **采用 LowConfidence 解码的分块扩散：**此 Hugging Face 实现以掩码 token 初始化每个块，并并行确定高置信度位置的内容。置信度高于阈值的位置会被填充；如果没有位置符合条件，则填充置信度最高的位置，以确保生成继续推进。一个块全部确定后，就会成为下一个块的前缀的一部分。默认值为block\_size=32和threshold=0\.95。

有关在我们的 SGLang 和 llama.cpp 实现中使用自推测解码的信息，请参阅官方代码仓库 (https://github.com/DiffuSpace/Clover-35B-A3B-Preview)。

https://huggingface.co/Diffuspace/Clover-35B-A3B-Preview#quick-start快速开始

安装支持 CUDA 的 PyTorch，然后安装 Hugging Face 依赖项。以下示例使用 Transformers 5.19.0 和 PyTorch 2.10 或更高版本。

pip install "transformers==5.19.0" accelerate safetensors

使用具有足够显存的 GPU，以容纳 BF16 权重（约 69 GB）以及推理状态。

`` import torch from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = “Diffuspace/Clover-35B-A3B-Preview” tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True) model = AutoModelForCausalLM.from_pretrained( model_id, trust_remote_code=True, dtype=torch.bfloat16, device_map=“cuda:0”, ).eval()

messages = [{“role”: “user”, “content”: “什么是扩散？”}] prompt = tokenizer.apply_chat_template( messages, tokenize=False, add_generation_prompt=True, enable_thinking=True, ) inputs = tokenizer(prompt, add_special_tokens=False, return_tensors=“pt”).to(“cuda:0”) output = model.generate( **inputs, max_new_tokens=24576, block_size=32, threshold=0.95, do_sample=False, ) completion = output[0, inputs[“input_ids”].shape[1]:] print(tokenizer.decode(completion, skip_special_tokens=True)) ``

你也可以将model\_id设为本地模型目录。生成默认设置会自动从generation\_config\.json加载；传入generate\(\)的关键字参数会覆盖这些设置。超出 128K 上下文限制的请求将被拒绝，计算时也会计入完成最后一个完整块所需的空间。

https://huggingface.co/Diffuspace/Clover-35B-A3B-Preview#generation-controls生成控制

我们观察到，生成内容非常长时，有时会出现重复。该模型包含重复控制机制，以及逐步增强的偏置，以推动回复或思考阶段结束。默认设置已配置好，因此正常使用无需额外参数。这些设置在贪心解码时同样生效。

参数默认值用途presence\_penalty``0\.9抑制已经在生成回复中出现过的 token。frequency\_penalty``0\.0按 token 的出现次数施加惩罚；默认禁用。repetition\_penalty``1\.05降低对先前已生成 token 的偏好；1\.0表示禁用。dllm\_length\_penalty``10\.0逐步增强对回复结束 token 的偏好。dllm\_think\_end\_bias``10\.0逐步鼓励生成</think\>以结束思考阶段。 长度控制从回复达到dllm\_length\_penalty\_start=8192个 token 时开始，并在随后dllm\_length\_penalty\_window=8192个 token 内达到最大强度。思考控制使用dllm\_think\_end\_start=4096和dllm\_think\_end\_window=4096。这些都是软性控制；max\_new\_tokens设定输出的硬性上限。重复控制基于已生成的回复历史运行，不包括提示词。

https://huggingface.co/Diffuspace/Clover-35B-A3B-Preview#expert-selection专家选择

在分块去噪过程中，Clover 可以将每个块的路由限制在一个共享的专家子集内。这可以减少整个块所使用的不同专家的数量。相关模型配置设置如下：

设置默认值用途moe\_block\_coreset\_enabled``true在去噪期间启用块级专家选择。moe\_block\_coreset\_top\_p``0\.9设定用于选择专家子集的累计路由权重阈值。 选择器会在整个块内汇总每个 token 的前 8 个候选专家的路由分数，按汇总分数对专家排序，并保留足够多的专家，以覆盖所要求的路由权重比例。0\.9表示汇总路由权重的 90%，而非所有专家的 90%。较低的值通常会选出更少的专家，但可能会影响质量。此设置独立于 token 采样中的top\_p，也不会减小已存储或已加载的模型权重大小。

https://huggingface.co/Diffuspace/Clover-35B-A3B-Preview#serving-and-evaluation服务部署与评估

Hugging Face 实现提供了一条独立的 PyTorch 推理路径。其运算与 SGLang 内核之间的微小数值差异，可能导致生成不同的文本，即使使用相同的解码设置也是如此。

**我们建议使用官方 SGLang 实现进行服务部署与评估。**安装说明和支持的解码模式可在官方仓库 (https://github.com/DiffuSpace/Clover-35B-A3B-Preview) 中查看。

https://huggingface.co/Diffuspace/Clover-35B-A3B-Preview#upstream-attribution-and-modifications上游归属声明与修改

Clover 源自 Qwen3.6-35B-A3B。上游模型资产的版权归 Alibaba Cloud 所有，版权年份为 2026 年，并根据 Apache-2.0 许可证分发；随附的 LICENSE (https://huggingface.co/Diffuspace/Clover-35B-A3B-Preview/tree/main/LICENSE) 保留了上游许可证和版权声明。

模型实现源自用于 Qwen3.6 架构的 Hugging Face Transformers Qwen3.5-MoE 实现，版权归 The Qwen Team 和 The HuggingFace Inc. 团队所有，版权年份为 2025 年。Clover 添加了纯文本分块扩散推理、双向 GDN 参数和生成控制。有关各文件的来源和修改说明，请参阅 ATTRIBUTIONS.md (https://huggingface.co/Diffuspace/Clover-35B-A3B-Preview/blob/main/ATTRIBUTIONS.md)。

DiffuSpace (@DiffuSpace_Labs)： 认识一下 Clover-35B-A3B-Preview 🍀 首个面向生产环境的开放权重扩散语言模型（dLLM），总参数量为 350 亿，在 BF16 精度下，单卡即可达到每秒 680 个 token。

Clover 在与 dLLM 和 AR 模型的比较中均表现强劲，现已在 @huggingface 上发布