gemma4 e2b 真的很棒，还有哪些小模型能在老旧电脑上运行良好？
摘要
用户称赞 Gemma 4 e2b 模型在低端硬件上的速度和输出质量，将其与 ChatGPT 3.5 和 4 进行正面比较，并询问其他能在老旧电脑上运行良好的小模型推荐。
我在 i5 6500 上运行它，得到 9t/s 的速度，非常快，输出远优于 ChatGPT 3.5，可能和 ChatGPT 4 一样好，但我没怎么用过 4.0。还有哪些好的小模型？我之前用过 Qwen 3.5 4b，那个也让我印象深刻。
相似文章
Gemma 4 E4B 仍然是用于本地部署、支持工具调用的个人助手的最佳小模型吗？我遗漏了什么？
一位用户询问，Gemma 4 E4B 是否仍然是最佳的小型多模态模型（参数少于 8B／内存占用低于 6GB），适合通过 MLX 在 Mac 上运行支持工具调用的本地个人助理，并提到尝试 Ling 3.0 tiny、LFM 系列模型以及 Qwen 3.5 4B/9B 均未成功。
Gemma 4 26b a4b 确实是我尝试过的最适合语言学习和科学查询的模型！
用户报告称，Gemma 4 26b 在语言学习和科学查询方面优于 Qwen 3.5/3.6，尽管在编码任务上稍显逊色，并邀请大家讨论小型 MoE 模型在编码以外的其他用例。
@googlegemma: Gemma 4 E2B 在英特尔AI PC上运行速度超快，得益于OpenVINO上的LiteRT NPU支持！预填充性能提升1.3倍……
Gemma 4 E2B 在采用OpenVINO与LiteRT NPU支持的英特尔AI PC上，实现了预填充速度提升1.3倍、每瓦性能提升2.8倍，从而能够高效运行后台LLM任务。
在13年历史的Xeon无GPU服务器上以每秒5个token运行Gemma 4 26B
一位开发者成功在无GPU、双路Xeon的13年旧服务器上，使用修改版ik_llama.cpp（无需AVX2指令），以约每秒5个token的速度运行谷歌的Gemma 4 26B混合专家模型。
Gemma 4 QAT模型：为移动和笔记本电脑效率优化压缩
谷歌发布采用量化感知训练（QAT）优化的Gemma 4模型，旨在提升移动和笔记本电脑部署的效率，将E2B模型的内存占用降至1GB，同时保持质量。