我刚刚从MacBook M5 pro 48 GB换到了RTX3090

Reddit r/LocalLLaMA 新闻
hardware-upgrade ai-inference linux rtx3090 qwen-model vllm productivity

摘要

一位软件开发者分享了从MacBook换到RTX3090 Linux设置来运行AI模型的经历，使用Qwen 3.8 27B实现了显著更高的推理速度，并可能取代他的Claude订阅。

在我为RTX3090搭建的linux机器上使用RTX3090并运行Qwen 3.8 27B，平均速度达到100t/s，而我的MacBook只有20t/s，我认为我终于可以取消Claude订阅了，这对我来说已经足够好了。我是一名软件开发者，我可以从这个设置中获得我需要的东西，并且更有效率。我使用linux机器通过Open AI端点提供模型服务，并使用一个自定义构建的桌面应用，后面由pi支持。关于速度，Mac上使用llama.cpp和mtp Unsloth Q6平均20t/s，Q4在Mac上对速度没有太大区别。Linux运行https://github.com/syv-ai/qwen38-27b-rtx3090，我相信是vLLM和Q4模型。工具调用失败得更多，但qwen3.8似乎足够聪明，可以自行修复和纠正。
查看原文

相似文章

RTX 5000 PRO (48GB) 到货了，比我想象的要好。

Reddit r/LocalLLaMA

一位用户分享了购买和设置 RTX 5000 Pro (48GB) GPU 用于本地 LLM 推理的体验，在使用 Qwen3.6-27B-FP8 时获得了令人印象深刻的提示处理速度和 token 生成，并将其与 Mac Studio 和 RTX 5090 等替代方案进行了比较。