@iluciddreaming: 玩了两个月本地 LLM。 用 Windows 11 + llama.cpp + llama-swap 狂测各种开源模型，这是我的最终成绩单： 硬件：i7-13700 + 64GB RAM + RTX 4070 目前最能打的组合是 gemm…

X AI KOLs Timeline 新闻
local-llm open-source-models benchmarking gemma llama-cpp llama-swap hardware-test

摘要

经过两个月本地 LLM 测试，作者认为 gemma-4-12B-it-QAT 和 MTP 辅助组合在速度和可用性上表现最佳，硬件为 i7-13700 + 64GB RAM + RTX 4070。

玩了两个月本地 LLM。 用 Windows 11 + llama.cpp + llama-swap 狂测各种开源模型，这是我的最终成绩单： 硬件：i7-13700 + 64GB RAM + RTX 4070 目前最能打的组合是 gemma-4-12B-it-qat-UD-Q4_K_XL + MTP 辅助。 其他模型也都跑过，这个在速度和实际可用性的平衡上目前最优。 接下来就期待 DiffusionGemma 进到 llama.cpp 之后，再来继续玩
查看原文
查看缓存全文

缓存时间: 2026/06/15 17:07

玩了两个月本地 LLM。

用 Windows 11 + llama.cpp + llama-swap 狂测各种开源模型，这是我的最终成绩单：

硬件：i7-13700 + 64GB RAM + RTX 4070

目前最能打的组合是 gemma-4-12B-it-qat-UD-Q4_K_XL + MTP 辅助。

其他模型也都跑过，这个在速度和实际可用性的平衡上目前最优。

接下来就期待 DiffusionGemma 进到 llama.cpp 之后，再来继续玩

相似文章