Basalt 0.5.0:腾讯 Hy4 Flash 支持 1M 上下文与视觉,在 5090 + 5060 Ti 上达到 84-172 tok/s(NVFP4)

Reddit r/LocalLLaMA 工具

摘要

Basalt 0.5.0 发布,新增对腾讯 Hy4 Flash 模型的支持,提供 1M 上下文与视觉能力,在 5090 + 5060 Ti 上实现 84-172 tok/s 吞吐,但量化对其精度影响较大。

## Basalt Hy4 Flash 支持 大家好,Basalt 0.5.0 已经发布,新增了对腾讯新发布的 Hy4 Flash 模型的支持。以下是我目前对这个模型的一些使用感受: 吞吐量比 Flash Next 低,因为 Hy4 Flash 在 NVFP4 下每个 token 的权重几乎多出一倍。在我的机器上,文本生成大约 84 tok/s,结构化输出可达 172 tok/s,prefill 大约 3,450 tok/s。DFly2 的接受率其实还算不错,但缓存未命中(cache miss)比 Flash Next 多得多,而在性能上的代价很大。我认为还有性能可以挖掘,但不指望能翻倍,大概提升 10% 到 20% 就不错了。我只是想先发布一个早期版本,好让实际测试尽早开始。 在真实任务上,它感觉和 Flash Next 基本打平,但 FN 仍然更胜一筹,主要因为在同一硬件上跑得快得多(尽管它思考得多得多,通常犯的错也更多)。数学能力上 Hy4 感觉更好一些,可能因为活跃参数更多、召回稍强一些,但我没有专门花很多时间测试这一点。接下来几天我会做更深入的测试。 量化对它的打击很大。在我的测试中,官方的 Q4_K_M 相比 BF16 的 same top-1 略低于 87%,我的 NVFP4 构建大约在 86%。作为对比,Flash Next 的 NVFP4 即使在 Q6_K 稠密层下也超过 91%。 1M 上下文确实是很棒的能力,配合动态视觉(dynamic vision)图片也能正常处理。希望 Qwen 4 系列能全系标配 1M 原生上下文(Qwhen?)。目前只有 NVFP4 得到官方支持。单个 .basalt 文件大约需要 95 到 100 GB 内存,和往常一样,其中显存占比越高越好。 Repo:https://github.com/jesdga95/basalt Website:https://basalt.jgulfo.com Hy4 Flash pack:https://huggingface.co/jesdga/Hy4-flash-Basalt
查看原文

相似文章

[基准测试更新] Basalt 的新 PR(Strata 分支)创下新纪录:IQ3_S Qwen3.8 Flash Next 在单张 RTX 5080 和 51 GB 内存上运行,提示词处理速度达 5500 tok/s,峰值生成速度高达 275 tok/s(在 opencode 实时编程会话期间)

Reddit r/LocalLLaMA

Basalt(Strata 的一个分支)合入了新的 PR,搭配 IQ3_S 量化的 Qwen3.8 Flash Next,在单张 RTX 5080 和 64GB DDR5 内存的配置下创下了新的基准测试纪录:在实时 opencode 编程会话中,提示词处理速度达到 5500 token/秒,峰值生成速度高达 275 token/秒。

NVFP4 下的 Qwen3.8-FN(Basalt vs cachy-flash vs ninfer-ext)

Reddit r/LocalLLaMA

对 Qwen3.8-Flash-Next NVFP4 模型在单张 RTX 5090 上使用三个推理引擎(basalt、capy-flash、ninfer-ext)进行完整 262k 上下文基准测试,basalt 在所有上下文长度和两种解码模式下均领先(预填充速度为 8.1k–9.2k 词元/秒,贪心解码速度为 176–265 词元/秒),解码排名与 MTP 草稿接受率一致。