超智能小型模型与超高效率大型模型之争
摘要
本文探讨了功能强大的本地化小型大语言模型与为效率优化的大型模型之间的争议，并通过MiniCPM5 2B和MoE Qwen3.6 35B在CPU上的运行表现进行对比分析。
您认为本地化大语言模型的未来会如何？这项技术发展势头迅猛，未来模型将会变得更智能、优化程度也会更高。您觉得优化的方向在于极小但功能强大的模型，还是在于提升超大模型的性能？最近我仅使用CPU进行了多项测试。我试用了MiniCPM5 2B Q8版本，它在不支持视觉处理的情况下运算速度约为6次/秒，但错误率很高……相比之下，MoE Qwen3.6 35B Q2_XXS版本虽然运算速度仅为3次/秒，但输出结果却要好得多。在我的上一篇文章中，我展示了即使没有GPU，Qwen3.6 35B依然可以正常使用：https://www.reddit.com/r/LocalLLaMA/comments/1w655he/qwen36_35b_q2_xxs_being_gpu_poor_in_2026_is_not/
相似文章
MiniCPM5-1B 表明小模型竞赛尚未结束
MiniCPM5-1B 是 OpenBMB 推出的一个拥有 10 亿参数的模型，在 AIME 2025 和 τ2-Bench Telecom 上取得了令人瞩目的成绩，超越了更大的模型。它从单个检查点同时提供快速模式和推理模式，这得益于包括监督微调、强化学习和在线策略蒸馏在内的三阶段后训练过程。
MiniCPM4：面向终端设备的超高效大语言模型
MiniCPM4 是一款专为终端设备设计的高效大语言模型，通过稀疏注意力、数据筛选、训练算法和推理系统等方面的创新，在0.5B和8B参数版本上实现了强大性能。
MiniCPM-V 4.5：通过架构、数据与训练配方打造高效多模态大语言模型
MiniCPM-V 4.5 是一款 8B 参数规模的多模态大语言模型，凭借统一的 3D-Resampler 架构、创新的数据策略以及混合强化学习方法，实现了高效率与卓越性能。据悉，该模型在显著降低 GPU 显存占用与推理耗时的同时，综合表现已超越更大规模的闭源及开源标杆模型。
别再问该跑哪个模型了。其实只有两个。
一位科技爱好者认为，只有两个本地AI模型（Qwen 3.6 35b a3b 和 Qwen 3.6 27b）值得运行，他否定了更小的模型，并推荐对更大模型进行重度量化。
OpenBMB 发布 MiniCPM5-1B 大语言模型。目前同尺寸下最强大的大语言模型之一。（在 Artificial Analysis Intelligence Index 上得分为 17.9）
OpenBMB 发布 MiniCPM5-1B，这是一款领先的 1B 参数开源权重大语言模型，在同尺寸类别中取得了 Artificial Analysis Intelligence Index 最高分（17.9），超越了 Qwen3.5 2B 等更大模型，而使用的参数更少。