我们自研了推理引擎，让一个 32B 模型把 262K 上下文塞进 16 GB 显存预算。这是一段未剪辑实测。

大家好 r/LocalLLaMA，这里是 Blockway，一支来自香港的小团队。上一篇 v1 帖子发出来之后，问得最多的问题基本上就是："行吧，但这模型存在的意义是什么？" 问得很合理，下面是我们坦诚的回答。问题所在 长时间的 agent 会话非常吃显存。在普通的稠密模型里，每一层都会保留一份 KV cache，而且它会随着每个 token 不断增长，所以迟早你要么裁剪上下文，要么转去用云端。我们希望长会话能一直跑在你自己的 GPU 上。所以我们做了 Volundr，让它的 72 层里有 54 层保留一个小的、固定大小的状态，而不是不断增长的 cache。 为什么我们自己写了推理引擎 现有的服务端并不是为这类模型设计的，所以我们围绕它写了 Agens Engine（MIT 协议）。有两点是我们比较得意的： - 它记得对话停在哪里，所以追问时不需要重新读取整段历史。 - 它始终保持在你设定的 GPU 显存预算之内。长上下文会溢出到系统内存，而不是继续膨胀显存占用。 视频 一镜到底，真实耗时。一本 110K token 的小说冷启动读取约需 69 秒。追问只需要 0.5 秒就能回答，因为引擎直接从上次中断的地方继续。显存峰值约 15.6 GiB。 先坦白说：我们是在一张 48 GB 的卡上录制的，引擎被限制在 16 GiB 的预算内。我们还没有一张真正的 16 GB 卡。目前最好的真实环境数据反而是来自你们的。HF 上的 mmssix 在一张我们从未测试过的 24 GB 卡上跑了，拿到了 86.4–106.7 tok/s。这个数据现在已经写进 README 了，谢谢！ 接下来的计划 上次的每条评论我们都读了，你们很多地方都说对了： - MoE：更多人可以用 MoE 变体跑起来。我们正在为未来版本探索一个 MoE 版本。 - Engram：记忆表应该更大。这就是我们接下来的方向。 - 同一张 GPU 上跑图像生成：因为 LLM 的显存占用保持平稳，24 GB 的卡还能腾出空间。我们想在它旁边直接跑一个图像生成模型，不用切换模型。这是一个目标，我们还没实现也没测试过。 - Windows 和 Mac：Windows（先从 WSL2 开始）已经在我们的路线图上，我们也在评估 Apple Silicon。 - 一个小盒子：我们还在做一台紧凑型桌面设备，开箱即用地跑起上面这一切。 我们是个小团队，还有很多要改进的地方。如果你试用一下，尤其是用真正的 16 GB 卡，麻烦如实告诉我们效果如何。每一条反馈都会用来训练我们的下一个版本。我们希望的很简单：一个 token 免费、跑在你自有硬件上的世界。 引擎：https://github.com/BlockWayz/agens-engine 权重：https://huggingface.co/collections/Blockway/agens-volundr-32b-v1