GitHub - T-Crypt/halocline:稀疏 + 密集。Qwen4 系列在单张 RTX 4090 上运行(仅支持 sm_89)
摘要
Halocline 是一款开源(MIT 许可)的推理引擎,可在单张 RTX 4090(sm_89)上运行 Qwen 混合专家(MoE)模型和密集模型,提供稀疏与密集两种路径,在质量和速度上与 llama.cpp 及 NInfer 相比均具有竞争力。
查看缓存全文
缓存时间: 2026/11/19 17:37
Halocline:无所隐藏的引擎
一个引擎,两条路径:稀疏与稠密。Qwen mixture-of-experts 与稠密模型,均在单张 NVIDIA Ada GPU(sm_89)——24 GB RTX 4090 上运行。每项结果都会标明生成它的运行目录。
- status: pre-alpha
- target: 仅 sm_89
- models: Qwen4 家族
- licence: MIT
以上数据来自参考机器,测量日期为 2026-11-16 与 2026-11-17。仓库中保存了全部运行记录。
相似文章
hipEngine:面向RDNA3(Strix Halo、7900 XTX)的快速原生Qwen 3.6推理引擎
hipEngine是一个新的开源、ROCm原生LLM推理引擎,专为AMD RDNA3 GPU设计,在Qwen 3.6模型上相比llama.cpp提供有竞争力的预填充和解码性能。
我为 16GB 显存的 GPU 构建了 Ninfer 4080
一位社区开发者发布了 Ninfer 4080,这是一个优化的本地推理运行时,可在 16GB 的 RTX 4080 上以 100k 上下文运行 Qwen 3.8 27B GSQ 模型,通过 DFlash2 投机解码实现了最高约 2720 tok/s 的预填充速度和 262 tok/s 的解码速度——比 llama.cpp 或 vLLM 等通用引擎快得多。
@lxfater:有人用一块 RTX 3090 自制推理引擎,让 Qwen 27B 飞速跑出每秒 273 个 token!这速度……
一位开发者(coffeecup2020)打造了一款名为 tqllm 的自定义推理引擎,在 RTX 3090 上运行 Qwen3-27B(TQ3_4S-v2 量化版本),达到了惊人的每秒 273 个 token——文中将这一速度与人类阅读速度作对比,并指出近期出现了一波轻量级 LLM 推理方案的发布潮,包括在 12GB 显存上运行量化版 Qwen3.8-Flash-Next 的 Strata。
RTX Pro 4500 Blackwell - Qwen 3.6 27B?
一位开发者分享了在搭载 NVIDIA RTX Pro 4500 Blackwell 显卡的服务器上,使用 llama.cpp 运行 Qwen3.6-27B 模型的本地推理基准测试数据及 systemd 配置。该帖文征集了提升吞吐量的优化建议,并探讨了更大模型的潜在应用场景。
在 8GB 显存和 32GB 内存上运行 Qwen3.6 35b a3b,~190k 上下文
作者分享了一种高性能的本地推理配置,使用支持 TurboQuant 的修改版 llama.cpp,在硬件受限(8GB 显存、32GB 内存)的情况下运行 Qwen3.6 35B A3B,实现了 ~37-51 tok/sec 的生成速度,并支持 ~190k 上下文。