Basalt：为 Qwen 3.8 Flash Next 打造的 Blackwell 高速推理引擎（以及如何白嫖视觉能力）

动态视觉，实机演示 Basalt 是一个面向 Qwen 3.8 Flash Next 的推理引擎，从 Strata 分叉而来，并针对 Blackwell 架构进行了深度调优。它支持视觉能力，但要让视觉正常工作，图像编码器要么常驻 VRAM，要么常驻 CPU。常驻 VRAM 会占用宝贵的空间，挤占本可以放在快速显存中的专家权重；而常驻 CPU 则编码速度极慢。 发布之后，u/rkfg_me 提出了一个简单的问题：为什么不干脆在空闲时卸载它呢？这确实是个好主意（再次感谢！），于是 Basalt 现在支持 `--vision dynamic` 参数： - 空闲时，编码器驻留在 RAM 中，加载时几乎不占用任何 VRAM。 - 当图像到达时，引擎会复用部分专家缓存槽位，将编码器上传到 VRAM（约 30 ms）并完成图像编码。 - 编码完成后，相同的槽位会从 RAM 中重新填充回专家权重（约 60 ms）。 没有图像输入 = 完全免费，文本推理性能不受任何影响。 此外，编码器使用的是 Basalt 自研的内核，速度比 llama.cpp 快至多 3 倍。 Basalt 仓库：https://github.com/jesdga95/basalt ----- **致开发者**：如果你有兴趣将此方案移植到自己的推理引擎中，以下是实现该功能的 commit hash（Basalt main 分支）： `9bfb90a`, `a704c65`, `efd23d9`