NInfer-2080ti-22g 现已支持 Windows 原生运行,体积仅 0.28 GB
摘要
NInfer v0.3.0 是一个用于在魔改 22 GB RTX 2080 Ti 上运行 Qwen3.6/8-27B 的推理引擎,新增了 Windows 原生支持和预编译发布版本,将二进制文件压缩至 0.28 GB,配合 MTP 投机解码最高可达 47.5 tok/s 的解码速度。
相似文章
我为 16GB 显存的 GPU 构建了 Ninfer 4080
一位社区开发者发布了 Ninfer 4080,这是一个优化的本地推理运行时,可在 16GB 的 RTX 4080 上以 100k 上下文运行 Qwen 3.8 27B GSQ 模型,通过 DFlash2 投机解码实现了最高约 2720 tok/s 的预填充速度和 262 tok/s 的解码速度——比 llama.cpp 或 vLLM 等通用引擎快得多。
NInfer 对 Qwen3.8-27B 的 Day-0 支持:约200 tok/s 生成速度,以及大量引擎改进
NInfer 新增对 Qwen3.8-27B 模型的 Day-0 支持,在单张 RTX 5090 上使用推测解码可实现约 200 tok/s 的生成速度,并包含并发请求和内核优化等引擎改进。
NInfer RTX 4090 for Qwen 3.8 27B 更新 - 最高支持25万-35万令牌上下文在显存中
作者已更新其 NInfer 分叉,添加了 rk2v4-e8 量化选项用于 KV 缓存,使得在单张 RTX 4090 上实现最高25万-35万令牌上下文,无需溢出到系统内存,并进行了优化以提升生成速度。
Ninfer Stahp
一位用户在 Blackwell MaxQ 显卡上测试了全新的 Ninfer 推理后端,在 qwen3.8-27b-nvfp4 模型上跑出 130-180 t/s 的速度,并发解码时几乎没有减速——他表示并发能力堪比 vLLM,吞吐远超 llama-server,即便是在 Windows 10 上安装之后也是如此。
(NInfer分支) 我为Qwen-3.8 27B在双5090显卡上实现1M上下文的尝试
一位开发者分支了NInfer,这是一个C++20/CUDA推理引擎,添加了张量并行和YaRN绳索缩放,使得Qwen3.8-27B能够在双5090显卡上运行1M token上下文,并在特定解码场景中优于vLLM。