llama-cpp-comparison

一位用户报告称，使用 Ninfer 工具在 NVIDIA RTX 5090 GPU 上运行 Qwen 3.8B 模型时，获得了高令牌吞吐量，显著优于 llama.cpp。