gemma4 e2b 真的很棒，还有哪些小模型能在老旧电脑上运行良好？
摘要
用户称赞 Gemma 4 e2b 模型在低端硬件上的速度和输出质量，将其与 ChatGPT 3.5 和 4 进行正面比较，并询问其他能在老旧电脑上运行良好的小模型推荐。
我在 i5 6500 上运行它，得到 9t/s 的速度，非常快，输出远优于 ChatGPT 3.5，可能和 ChatGPT 4 一样好，但我没怎么用过 4.0。还有哪些好的小模型？我之前用过 Qwen 3.5 4b，那个也让我印象深刻。
相似文章
Gemma 4 26b a4b 确实是我尝试过的最适合语言学习和科学查询的模型！
用户报告称，Gemma 4 26b 在语言学习和科学查询方面优于 Qwen 3.5/3.6，尽管在编码任务上稍显逊色，并邀请大家讨论小型 MoE 模型在编码以外的其他用例。
@googlegemma: Gemma 4 E2B 在英特尔AI PC上运行速度超快，得益于OpenVINO上的LiteRT NPU支持！预填充性能提升1.3倍……
Gemma 4 E2B 在采用OpenVINO与LiteRT NPU支持的英特尔AI PC上，实现了预填充速度提升1.3倍、每瓦性能提升2.8倍，从而能够高效运行后台LLM任务。
在13年历史的Xeon无GPU服务器上以每秒5个token运行Gemma 4 26B
一位开发者成功在无GPU、双路Xeon的13年旧服务器上，使用修改版ik_llama.cpp（无需AVX2指令），以约每秒5个token的速度运行谷歌的Gemma 4 26B混合专家模型。
Gemma 4 QAT模型：为移动和笔记本电脑效率优化压缩
谷歌发布采用量化感知训练（QAT）优化的Gemma 4模型，旨在提升移动和笔记本电脑部署的效率，将E2B模型的内存占用降至1GB，同时保持质量。
运行 gemma-4-26B-A4B 不需要 GPU
作者展示了在仅使用 CPU 的系统上，通过 Koboldcpp 高效运行 Gemma-4-26B-A4B 模型，在一台旧台式机上达到了每秒 7 个 token 的速度，这表明运行本地大语言模型推理可能并不需要强大的 GPU。