Ninfer 和 RTX 5090 配合 3.8 27B 模型让我喜极而泣，效果太棒了。

Reddit r/LocalLLaMA 工具
ai-inference gpu-performance qwen-model nvidia-rtx-5090 tokens-per-second llama-cpp-comparison tool-review

摘要

一位用户报告称，使用 Ninfer 工具在 NVIDIA RTX 5090 GPU 上运行 Qwen 3.8B 模型时，获得了高令牌吞吐量，显著优于 llama.cpp。

构建了最新版本，我获得了高达每秒 220 个令牌的吞吐量，平均在 170 左右，我简直不敢相信。如果这里有人参与了这个项目，真心致敬，做得太棒了。我无法相信我能够将吞吐量从 llama.cpp 提升一倍甚至更多。这是我设置的：命令：> ninfer-serve /models/qwen3_8_27b_nvfp4.ninfer --model-id qwen3.8-27b-nvfp4 --host 0.0.0.0 --max-context 240000 --kv-capacity 240000 --max-concurrency 2 --kv-dtype fp8 --host-kv-mib 16384 --spec mtp --draft-tokens 3 --lm-head-draft --vision --media-live-mib 2048
查看原文

相似文章

Ninfer Stahp

Reddit r/LocalLLaMA

一位用户在 Blackwell MaxQ 显卡上测试了全新的 Ninfer 推理后端，在 qwen3.8-27b-nvfp4 模型上跑出 130-180 t/s 的速度，并发解码时几乎没有减速——他表示并发能力堪比 vLLM，吞吐远超 llama-server，即便是在 Windows 10 上安装之后也是如此。

我为 16GB 显存的 GPU 构建了 Ninfer 4080

Reddit r/LocalLLaMA

一位社区开发者发布了 Ninfer 4080，这是一个优化的本地推理运行时，可在 16GB 的 RTX 4080 上以 100k 上下文运行 Qwen 3.8 27B GSQ 模型，通过 DFlash2 投机解码实现了最高约 2720 tok/s 的预填充速度和 262 tok/s 的解码速度——比 llama.cpp 或 vLLM 等通用引擎快得多。