nvidia-rtx-5090

一位用户报告称，使用 Ninfer 工具在 NVIDIA RTX 5090 GPU 上运行 Qwen 3.8B 模型时，获得了高令牌吞吐量，显著优于 llama.cpp。

作者讨论了即将推出的NVIDIA RTX 5090 GPU的高价格，考虑以配备M5 Ultra的Apple Mac Studio作为替代方案，并对这种情况表示担忧。