Clover-35B-A3B-Preview：让智能，多一种生长方式

2025 年 4 月，香港大学自然语言处理实验室（HKU NLP）推出Dream 7B（https://hkunlp.github.io/blog/2025/dream/），至今Dream系列模型累计在Hugging Face下载量270万+次。从Dream出发，扩散智能 DiffuSpace 成为团队成员新的起点，但开源普惠的初衷一直没有改变。

如果说 Dream 7B 证明了扩散语言模型能够与自回归模型正面交锋，那么 Clover 要回答的是一个更根本的问题：当参数走向更大规模，扩散语言模型能否依然保持竞争力，同时守住全局生成的速度优势？

Clover-35B-A3B-Preview 给出了肯定答案：在更大规模上，扩散语言模型甚至能比同尺寸自回归模型略胜一筹，同时保持更快生成速度。高速生成与高性能，可以共存于同一模型。

Clover-35B-A3B-Preview 是一个采用混合专家架构（MoE）的扩散语言模型，总参数 350 亿、激活参数 30 亿，支持思考模式。在多项基准测试中，它的性能超过同规模自回归模型 Qwen3.6-35B-A3B，且生成速度显著更快。

Clover-35B-A3B-Preview 在智能体编程与工具使用任务中表现尤为突出。在本次对比的六项 Agent 评测中，它均取得了所列模型中的最高分。其中，SWE-bench Verified 达到 73.6，Terminal-Bench 2.1 达到 51.7，τ³ Overall 达到 65.3，超过了 同为扩散语言模型的 LLaDA2.2 flash、Mercury 2.5，以及同尺寸的自回归模型 Qwen3.6-35B-A3B 和 Qwen3.5-35B-A3B。

Clover-35B-A3B-Preview 的通用能力同样扎实。在指令遵循、知识、逻辑推理和长文本理解等多项评测中，其成绩达到或超过同规模自回归模型，GPQA Diamond、ZebraLogic 和 AA-LCR 分别达到 83.8、95.8 和 72.0。

在推理效率方面，Clover-35B-A3B-Preview 在单张 NVIDIA GB300 GPU 上，以 BF16 精度、batch size = 1 进行测试，在内部Agent 场景数据中实现了 680 tokens/s 的整体生成速度。 即使与采用 DFlash2 加速的同规模 Qwen 模型相比，Clover 仍展现出更优的性能与推理速度的平衡。此外，在单张 NVIDIA H200 GPU 上，Clover 在 Agent 任务中达到 515 tokens/s，高于 DFlash2 方案的 365 tokens/s。以上结果都体现了扩散架构在复杂 Agent 场景下的速度优势。

在 Clover-35B-A3B-Preview 的基础上，我们将继续推进扩散语言模型的规模化研究，提升模型能力与推理速度，并在更广泛的真实任务中验证和改进模型。

Clover-35B-A3B-Preview 现已开源，采用 Apache 许可。模型权重与相关代码已在 Hugging Face 和 GitHub 发布，支持 SGLang 和 llama.cpp 推理。开发者可下载部署、构建应用，并在 Clover 的基础上开展进一步研究。我们期待与社区一起，拓展扩散语言模型的能力边界。