Basalt 0.5.0:腾讯 Hy4 Flash 支持 1M 上下文与视觉,在 5090 + 5060 Ti 上达到 84-172 tok/s(NVFP4)
摘要
Basalt 0.5.0 发布,新增对腾讯 Hy4 Flash 模型的支持,提供 1M 上下文与视觉能力,在 5090 + 5060 Ti 上实现 84-172 tok/s 吞吐,但量化对其精度影响较大。
相似文章
Basalt:Flash-Next 在 5090 + 5060 Ti 上实现 665 tok/s 结构化输出、354 tok/s 散文输出(Strata 的 2.6 倍)
Basalt 是一个专为 Blackwell 架构(5090 + 5060 Ti)深度优化的 Strata 分支推理引擎,据称吞吐量可达 Strata 的 2.6 倍,支持 Qwen3.8 Flash-Next、MTP、最多 8 路并发以及自定义视觉编码器,以 MIT 协议完全开源。
Basalt 0.4.0:支持更多模型,速度依然不减——Qwen 27B 在 5090 上最高可达 770 token/秒
Basalt 0.4.0 新增多模型和路由器支持(DeepSeek V4.1 Flash)、视频和文件支持,以及首个稠密模型 Qwen 3.8 27B NVFP4,在 RTX 5090 上的结构化输出速度最高可达 776 tok/s,相较于 BF16 的 top-1 保真度为 92.8%。
Basalt:在单张 5090 上为 Qwen3.8 Flash-Next 加入 NVFP4 支持与更快的 Prefill
Basalt 推理工具新增原生 NVFP4 支持与更快的 Prefill,可在单张 RTX 5090 上运行 Qwen3.8 Flash-Next,解码速度最高达 479 tok/s,Prefill 速度达 8,582 tok/s,同时质量接近 Q8 水平。
[基准测试更新] Basalt 的新 PR(Strata 分支)创下新纪录:IQ3_S Qwen3.8 Flash Next 在单张 RTX 5080 和 51 GB 内存上运行,提示词处理速度达 5500 tok/s,峰值生成速度高达 275 tok/s(在 opencode 实时编程会话期间)
Basalt(Strata 的一个分支)合入了新的 PR,搭配 IQ3_S 量化的 Qwen3.8 Flash Next,在单张 RTX 5080 和 64GB DDR5 内存的配置下创下了新的基准测试纪录:在实时 opencode 编程会话中,提示词处理速度达到 5500 token/秒,峰值生成速度高达 275 token/秒。
NVFP4 下的 Qwen3.8-FN(Basalt vs cachy-flash vs ninfer-ext)
对 Qwen3.8-Flash-Next NVFP4 模型在单张 RTX 5090 上使用三个推理引擎(basalt、capy-flash、ninfer-ext)进行完整 262k 上下文基准测试,basalt 在所有上下文长度和两种解码模式下均领先(预填充速度为 8.1k–9.2k 词元/秒,贪心解码速度为 176–265 词元/秒),解码排名与 MTP 草稿接受率一致。