NInfer-2080ti-22g 现已支持 Windows 原生运行,体积仅 0.28 GB

Reddit r/LocalLLaMA 工具

摘要

NInfer v0.3.0 是一个用于在魔改 22 GB RTX 2080 Ti 上运行 Qwen3.6/8-27B 的推理引擎,新增了 Windows 原生支持和预编译发布版本,将二进制文件压缩至 0.28 GB,配合 MTP 投机解码最高可达 47.5 tok/s 的解码速度。

v0.3.0 版 NInfer for Turing 已发布,本次更新重点在于优化用户体验。先介绍一下背景:这是一个专门用于在单张魔改 22 GB RTX 2080 Ti 上运行 Qwen3.6/8-27B(且仅支持该模型)的推理引擎。它设计上仅使用显存,不支持系统内存卸载,因此不支持 35B-A3B。微调模型和去对齐(abliteration)等变体同样支持,只需使用 .ninfer 检查点转换器即可。 更新内容: - 原生 Windows 支持。此前需要 Linux、WSL2 或 Docker 环境。现在 Windows 用户无需担心资源分配/释放问题(WSL 或 Docker 实例需要分配系统内存,即使内部实际使用场景并不需要)。 - 预编译发布版本。你仍然可以自行编译,但需要 CUDA、Visual Studio 和 FFmpeg,且编译时间较长。现在也可以直接下载预编译压缩包,运行一个脚本即可使用。 - 精简优化。移除了对 RTX 5090、FP8、FP4 和 35B-A3B(可完全放入 32 GB 显存但无法放入 22 GB)的"无用"代码路径,将构建二进制文件从 1.56 GB 压缩至 0.28 GB。编译时间从数小时缩短至数分钟,输出结果保持逐位一致。 功能特性: - 兼容 OpenAI 和 Anthropic API,同时提供命令行工具。 - 支持图像和视频输入、思考模式以及 CUDA Graph 解码。 - 默认 64k 上下文长度,使用 INT8 KV 缓存。权重占用 15.4 GiB,因此需要 22 GB 显存的显卡。 - MTP 投机解码,默认启用。 性能数据(单张 2080 Ti 22 GB,Windows 11,单请求): 测试项 | 结果 --- | --- prefill,512 token 提示词 | 616 tok/s prefill,64k token 提示词 | 458 tok/s decode,无 MTP | 27.0 tok/s decode,MTP,真实代码提示词 | 47.5 tok/s(无 MTP 为 26.3) decode,MTP,真实文本提示词 | 28.8 tok/s(无 MTP 为 26.0) (Apache-2.0 协议,基于 Neroued/ninfer)
查看原文

相似文章

我为 16GB 显存的 GPU 构建了 Ninfer 4080

Reddit r/LocalLLaMA

一位社区开发者发布了 Ninfer 4080,这是一个优化的本地推理运行时,可在 16GB 的 RTX 4080 上以 100k 上下文运行 Qwen 3.8 27B GSQ 模型,通过 DFlash2 投机解码实现了最高约 2720 tok/s 的预填充速度和 262 tok/s 的解码速度——比 llama.cpp 或 vLLM 等通用引擎快得多。

Ninfer Stahp

Reddit r/LocalLLaMA

一位用户在 Blackwell MaxQ 显卡上测试了全新的 Ninfer 推理后端,在 qwen3.8-27b-nvfp4 模型上跑出 130-180 t/s 的速度,并发解码时几乎没有减速——他表示并发能力堪比 vLLM,吞吐远超 llama-server,即便是在 Windows 10 上安装之后也是如此。