community-test

#community-test

exllamav3 在我的配置下轻松击败运行 CPU 卸载 Qwen-3.8-Flash-Next 的 llama.cpp！

Reddit r/LocalLLaMA ↗ · 3天前

一位用户对 exllamav3 和 llama.cpp 进行了 CPU 卸载推理的基准测试，显示 exllamav3 对于 Qwen 模型更快，但对于其他模型更慢，具体取决于硬件和模型架构。

0 人收藏 0 人点赞