我终于从Windows切换到Linux，并获得了30-50%的速度提升。

Reddit r/LocalLLaMA 2026/08/23 08:02 新闻

windows linux llamacpp vllm performance-boost ai-inference operating-system

摘要

用户从Windows切换到Linux，并将llamacpp替换为vllm，在AI推理中实现了30-50%的速度提升。

这太棒了。我所做的只是从Windows上的llamacpp切换到Linux上的vllm。

查看原文

相似文章

Reddit r/LocalLLaMA

用户评测表明，使用llama.cpp运行大型MoE模型时，Windows 11与Linux之间并无显著速度差异，打破了一个常见迷思。在多GPU配置下，使用Qwen 3.5 122B、397B和MiniMax 2.7等模型进行测试，提示处理和令牌生成速度几乎相同。

Reddit r/LocalLLaMA

一个 llama.cpp PR 将采样从 CPU 移至 GPU，在 RTX 5090 上为 Qwen3.6-35B 推理带来 8% 的 token 速度提升，在 Tesla P40 上约为 4%。

Reddit r/LocalLLaMA

一位用户询问在改用Linux时，Ubuntu与vLLM、llama.cpp和ComfyUI等本地AI工具的兼容性。

Reddit r/LocalLLaMA

本文讨论了 llama.cpp 的一个 AMD 特定分支，该分支显著提升了 AMD 用户的提示处理速度，使用 ROCm/Hip 时，在密集模型上性能最高提升 2 倍，尽管在其他指标上有些权衡。

X AI KOLs Following

一套新工具集（DFlash + PFlash）在 AMD Ryzen AI MAX+ 395 iGPU 上实现了比 llama.cpp 快 2.5 倍的推理速度，展示了 Qwen3.6-27B 在 128 GiB 统一内存下的显著加速效果。