GitHub - T-Crypt/halocline:稀疏 + 密集。Qwen4 系列在单张 RTX 4090 上运行(仅支持 sm_89)

Reddit r/LocalLLaMA 工具

摘要

Halocline 是一款开源(MIT 许可)的推理引擎,可在单张 RTX 4090(sm_89)上运行 Qwen 混合专家(MoE)模型和密集模型,提供稀疏与密集两种路径,在质量和速度上与 llama.cpp 及 NInfer 相比均具有竞争力。

暂无内容
查看原文
查看缓存全文

缓存时间: 2026/11/19 17:37

Halocline:无所隐藏的引擎

一个引擎,两条路径:稀疏与稠密。Qwen mixture-of-experts 与稠密模型,均在单张 NVIDIA Ada GPU(sm_89)——24 GB RTX 4090 上运行。每项结果都会标明生成它的运行目录。

  • status: pre-alpha
  • target: 仅 sm_89
  • models: Qwen4 家族
  • licence: MIT

以上数据来自参考机器,测量日期为 2026-11-16 与 2026-11-17。仓库中保存了全部运行记录。

相似文章

我为 16GB 显存的 GPU 构建了 Ninfer 4080

Reddit r/LocalLLaMA

一位社区开发者发布了 Ninfer 4080,这是一个优化的本地推理运行时,可在 16GB 的 RTX 4080 上以 100k 上下文运行 Qwen 3.8 27B GSQ 模型,通过 DFlash2 投机解码实现了最高约 2720 tok/s 的预填充速度和 262 tok/s 的解码速度——比 llama.cpp 或 vLLM 等通用引擎快得多。

@lxfater:有人用一块 RTX 3090 自制推理引擎,让 Qwen 27B 飞速跑出每秒 273 个 token!这速度……

X AI KOLs Timeline

一位开发者(coffeecup2020)打造了一款名为 tqllm 的自定义推理引擎,在 RTX 3090 上运行 Qwen3-27B(TQ3_4S-v2 量化版本),达到了惊人的每秒 273 个 token——文中将这一速度与人类阅读速度作对比,并指出近期出现了一波轻量级 LLM 推理方案的发布潮,包括在 12GB 显存上运行量化版 Qwen3.8-Flash-Next 的 Strata。

RTX Pro 4500 Blackwell - Qwen 3.6 27B?

Reddit r/LocalLLaMA

一位开发者分享了在搭载 NVIDIA RTX Pro 4500 Blackwell 显卡的服务器上,使用 llama.cpp 运行 Qwen3.6-27B 模型的本地推理基准测试数据及 systemd 配置。该帖文征集了提升吞吐量的优化建议,并探讨了更大模型的潜在应用场景。