我们身在何处:一年之间,天地翻覆——Kimi、Minimax、Qwen、Gemma、GLM

Reddit r/LocalLLaMA 新闻

摘要

作者感慨本地 AI 能力进步神速,如今借助 Qwen 27b、Minimax 2.7 等模型,在平价硬件上就能完成过去只有顶级云端大模型才能搞定的任务。

我知道 benchmark 常被诟病,对单个用例不精准,LLM 也常被“刷榜”……但今天我们聊的不是数字,而是趋势。当初用 GPT-4o 或 Sonnet 3.7 时,要是有人告诉我这么短时间内就能本地搞定同样的事,我绝对不信。如今却成真了——而且不需要 400GB 显存的怪兽卡,平价硬件也能跑。如果 Qwen 3.6 27b 真的很快发布,那将堪称炸裂。诚然,开源许可证在收紧,开发者越来越需要变现,但这依旧是最好的时代。昨天我用奇怪的 Qwen 27b + Minimax 2.7 Q4 组合,就完成了平时非得靠 Claude 才能搞定的任务。想要 GLM 5 Air 的朋友……不妨重新捡起 4.7,依旧能打,体积更小。这张图,回答了社区里我每天看到的无数疑问。
查看原文

相似文章

无GPU革命:高效AI模型如何让人工智能大众化

Reddit r/AI_Agents

一场静默的革命正在让强大的AI模型无需昂贵GPU即可在消费级硬件上运行,这得益于量化技术和优化实现(如llama.cpp的Gemma4 MTP支持)的突破,为爱好者、小型企业和边缘计算打开了大门。

推出 Gemma 3

Google DeepMind Blog

Google 推出了 Gemma 3,这是一套轻量级开源模型集合(1B、4B、12B、27B),设计用于在单个 GPU 或 TPU 上运行,支持 140+ 种语言、128k 上下文窗口和多模态功能。这些模型在保持高效性能的同时,性能超越了 Llama 3 和 DeepSeek-V3 等更大的竞品,适合边缘设备部署。