Qwen3.8-Flash-Next 在 Strix Halo 上支持 100万上下文：解码速度达 38 tok/s，预填充仅需 18 分钟 (Halogen 0.12.0)

Reddit r/LocalLLaMA 工具
performance-optimization context-window ai-inference open-source-tool hardware-benchmark speculative-drafting long-context

摘要

Halogen 版本 0.12.0 修复了高上下文深度下的性能下降问题，展示了在 AMD Ryzen AI Max+ 硬件上，Qwen3.8-Flash-Next 在 100万令牌上下文时的解码和预填充速度的提升。

大家好。我看到一些反馈说 Halogen 在上下文深度上性能下降。所以我修复了这个问题。通过镜像部署，同一台机器、同一会话、同一提示，版本 0.11.10 与 0.12.0 的比较：在 1,004,581 令牌上下文下解码：从 27.3 tok/s 提升至 38.3 tok/s（使用默认投机生成器）；在 258,794 令牌上下文下解码：从 42.9 tok/s 提升至 45.0 tok/s；在 1,004,581 令牌上下文下预填充：从 790 tok/s 提升至 937 tok/s，冷启动时间从 21.2 分钟缩短至 17.9 分钟；在 258,794 令牌上下文下预填充：从 1,086 tok/s 提升至 1,114 tok/s。测试条件：Ryzen AI Max+ 395，128 GB 内存。262k 和 1M 行的数据是在 1M 配置下（HALOGEN_ROPE_YARN=4 HALOGEN_CTX=1048576），每次冷请求，使用贪心模式，64 令牌，速度来自响应的 `timings` 报告。32k 行是标准的十次提示服务的平均值，没有变化。在 1M 上下文下，通过提示缓存进行后续轮次，首个令牌响应时间约为 0.55 秒；以上数字为冷启动路径。要在 1M 下运行：在 README 的 podman 命令行中添加 -e HALOGEN_ROPE_YARN=4 -e HALOGEN_CTX=1048576；需要 128 GB 内存的机器。发布说明和完整表格：https://github.com/peonist-ai/halogen-flash-server 如果您有自己的 1M 测试结果，我希望能看到在 0.12.0 版本上重新运行的结果。感谢所有支持，特别是 https://huggingface.co/nightvich
查看原文

相似文章

在 2 张 RTX 5090 上运行 Qwen3.8-Flash-Next，解码速度达 504 tok/s：QEngine 1.3.1 的解码速度约为我试过的第二快引擎的 1.5–1.9 倍（数据、注意事项，以及仍然棘手的问题）

Reddit r/LocalLLaMA

一项详细的基准测试表明，QEngine 1.3.1（针对 RTX 5090 编译）是单流解码速度最快的 Qwen3.8-Flash-Next 引擎，速度约为 Strata 的 1.4–1.9 倍、调优后的 vLLM 的 3 倍，其 KV-in-RAM 模式可显著提升重新访问空闲会话时的热启动性能。