呼唤所有 GPU：帮助我们测试 SonicBoom v0.0.3 —— 一个在解码上超越 llama.cpp 的编译器优先 AI 运行时

大家好！我们是 HardenedLinux，一个老牌自由软件社区。SonicBoom 是我们开源（GPLv3）的推理运行时：一个编译器优先的方案，用来替代常见的 Python 技术栈。构建和运行时都不需要 Python —— 只有一个共享库、一个 C ABI，以及作为一等语言的 Guile Scheme。v0.0.3 在桌面级 RTX 3050 8 GB 上的表现（同一会话、同一 GGUF，对比 llama.cpp -ngl 99）：模型解码（tg64）预填充（pp512）Gemma 4 E4B Q3_K_M 1.18× 1.00× Qwen2.5-0.5B Q4_K_M 1.12× 1.09× 在真实的多轮 agent 工作负载上，自 v0.0.2 以来首 token 延迟降低了数倍（前缀复用 + 计划缓存）。输出 token 与我们的黄金基准运行结果逐位一致，前缀复用与完整预填充的结果在比特级别上完全相同。原理：所有图优化和内核生成都在 Boom IR（一个 MLIR 方言）上完成；热点量化矩阵乘法以带属性的 ggml 衍生内核运行。每一项优化都有对应的开关和消融数据，让你清楚每项优化带来了多少收益。我们坦诚存在的不足：Qwen 在深度 512 时的解码为 0.98×，而且我们目前只有一块 GPU。这正是我们需要你们的原因。邀请：每次发布都会开一个基准测试 issue。如果你有 NVIDIA GPU（任何代次 —— 尤其欢迎 Ada、Hopper、Blackwell），只需一条命令即可生成一份可以直接粘贴的报告。所有结果被我们收录的贡献者都会在 README 中致谢。→ v0.0.3 基准测试 issue：https://github.com/hardenedlinux/SonicBoom/issues/2 请将测试结果和问题发布在 issue 中，而不是这里，以便所有信息集中管理。