Nemotron 3.5 Bolt 在小型多用户场景中表现尚可

https://preview.redd.it/0tljsfsl7cwh1.png?width=349&format=png&auto=webp&s=4428c2ab4743ce471d2862eef502ffa38381c8d3 我一直在寻找比 27B 更快的模型来替代 Nemotron Ultra 承担的一项工作负载。Ultra 自发布以来表现平平，虽然出现过比它更小但效果更好的模型，但它在 openrouter 上一直是免费的，既然能用，何乐而不为呢？Bolt 初看之下又是那种可以直接跳过的模型。它确实有一些令人印象深刻的量化方案，但在 27B 就在身边的情况下，更不用说还有 Flash Next，它并没有什么特别值得称道的地方。不过它的尺寸恰好适合我 128 GB 的配置（4x MI100），因为它是为 Sparks 设计的，所以我还是研究了一下。关于 Bolt 的几个有趣事实：解码器部分是 2-bit 量化，而其他更敏感的部分在原版模型中采用 NVFP4 量化。模型中还有其他量化方式，但上述方案占据了绝大部分权重。每 5 层线性注意力（Mamba2）配备 1 层全注意力（GQA），这个比例比 Qwen3 更低——Qwen3 是每 1 层全注意力对应 4 层线性注意力。它的注意力宽度远小于 Qwen3，因此 30k 上下文仅占用 200 MB，而 Flash Next 为 500 MB，27B 为 952 MB。256k 上下文方面，Bolt 仅需 1 GB，而 FN 需要 3.4 GB，27B 需要 8.5 GB。新的 Nemotron Super 拥有完全相同的注意力机制，所以数字也一样。据我所知，这些新的 Nemotron 模型在新模型中拥有最高效的 KV 缓存，仅次于 DS v4.1 Flash。它本质上是一个经过 REAP 处理的 Nemotron 3.5 Super，外加了额外的后训练。以当今的标准来看，它的智能水平不算出色，但与 Qwen3.6 27B 大致相当，所以也还算不错。它相对出色的一个方面是降低幻觉率，甚至优于一些顶级模型。在我的测试中，这意味着它在多轮对话中倾向于在思考过程中广泛探索，运行大量诊断和检查，然后才尝试解决方案并进行充分验证。https://preview.redd.it/1od8gwpw1cwh1.png?width=573&format=png&auto=webp&s=6ca23fce924f8e89bb2c53b4f7fafe4cceb1405b 到目前为止它的速度还算不错，在我的硬件上大约是 27B 的两倍。当模型的大部分表现只是勉强及格时，它真正脱颖而出的地方在于能在内存中容纳大量上下文，同时还有很大的前缀缓存空间。这意味着 Bolt 非常适合小型多用户场景，比如小型企业。你完全可以在内存中装下数百万个上下文 token，一块 5090（支持原生 NVFP4 且拥有 32 GB 显存）或者一台 128 GB 的 SFF 主机可能就是这款模型的理想硬件。这是一款有趣的模型，我希望未来能有更多类似的产品发布。等一个 70B 模型重新出现，确实等了很久。我会继续对它进行更多测试，但到目前为止表现不错，值得推荐。