Agens Volundr 32B Preview：我们小团队基于自研混合架构的首个模型。72 层中仅 18 层保留 KV cache（Apache-2.0）

大家好，r/LocalLLaMA 的朋友们。我是 Blockway 团队的成员，Blockway 是一支位于香港的小团队（声明：这是我们的模型）。今天，我们发布了 Agens Volundr 32B Preview，这是基于我们自研混合架构构建的首个模型。我们在有限的算力下完成了训练，它并不完美，我们更愿意先告诉大家它的不足之处。 ## 为什么要做这个模型 我们的客户在自己的机器上运行模型。在长上下文场景下，决定能否装下的不是权重，而是 KV cache。因此我们设计了一个大多数层都不保留 KV cache 的模型。 ## 架构（72 层，稠密 ~32B，每层都处理每个 token） - 54 个 KDA（Kimi Delta Attention）层：带有固定大小循环状态的线性注意力，无需 KV cache - 17 个 BCSA 层（我们的压缩稀疏注意力）：对最近 4,096 个 token 做精确窗口注意力；更早的上下文按 4:1 池化成块，由一个可学习的索引器读取排名前 512 的块 - 1 个全注意力层（第 72 层） - Engram：保存在主机 RAM 中的哈希 n-gram 记忆，挂在 72 层中的 2 层上 - mHC：4 条残差流，而非 1 条 因此，72 层中只有 18 层保留 KV cache。上下文窗口：262K。 ## 速度（单用户，使用我们的 sglang 构建版本） - BF16，两块 48 GB GPU，解码：1K 时 25.1 tok/s，8K 时 24.1，32K 时 24.1，64K 时 24.0，128K 时 23.9 - BF16 预填充：2,122 / 2,180 / 1,916 / 1,679 / 1,297 tok/s（1K 至 128K） - INT4（31.7 GiB），单块 48 GB GPU，解码：1K 时 31.0 tok/s，8K 时 29.3，32K 时 29.1 - 聚合吞吐量：BF16 下 8 用户时 127 tok/s，16 用户时 130；INT4 下 8 用户时 117 - DFlash2 drafter（独立仓库），单用户，同一服务端开启与关闭对比：JSON/工具输出最高提升 3.6 倍，代码 2.0 倍，思考模式约 1.6 倍。超过约 8 个并发用户时收益不划算。 ## 基准测试（全部由我们在同一个测试框架上以相同设置运行，包括对比模型；完整表格和脚注见模型卡片） - 在 LiveCodeBench v6（+4.2）、HumanEval（+4.3）、AIME 2025（+2.9）、MATH-500（+1.6）上领先于 Qwen3.8-27B - 在 MMLU-Pro、IFEval、GPQA Diamond 上基本持平 - 在 agentic 任务上落后：tau2-bench 74.2 对比 79-80，SWE-bench Verified（50 题子集）44 对比 58-64。缩小这一差距是完整版 v1 的主要方向，v1 将继续预训练至约 10B token，并加入长 agentic 会话的训练。 ## 已知限制（请在尝试前阅读） - 需要我们的 sglang 构建版本。原版 sglang 和 vLLM 目前无法加载它。 - GGUF / llama.cpp 支持已在计划中，但目前尚未提供。 - 长 agentic 会话是该 Preview 版本最薄弱的领域。 - 它仍在训练中；请将其视为预览版，而非最终模型。 ## 运行 - docker pull ghcr.io/blockwayz/agens-sglang:preview-sm89（48 GB Ada GPU） - docker pull ghcr.io/blockwayz/agens-sglang:preview-sm90（H100 / H200） 完整的启动命令在模型卡片中。 ## 链接 - BF16：https://huggingface.co/Blockway/Agens-Volundr-32B-Preview - INT4：https://huggingface.co/Blockway/Agens-Volundr-32B-Preview-INT4 - DFlash2 drafter：https://huggingface.co/Blockway/Agens-Volundr-32B-Preview-DFlash2 - 项目主页：https://github.com/BlockWayz/Agens-Volundr - 服务端代码：https://github.com/BlockWayz/agens-sglang Apache-2.0。我们是一支小团队，你们能做的最有帮助的事就是试用它，并告诉我们它在哪里出问题：提一个 issue、给出一个失败的提示词，或者一个你们希望我们跑的基准测试。我们会出现在评论区。