标签
在M5 Pro上使用llama.cpp本地测试了更新后的Gemma 4，使用OpenCode进行编码任务时达到60 tokens/s；后端表现良好，但UI/UX不佳。
Cactus Hybrid是一款经过后训练的Gemma 4模型，可输出置信度分数，支持在设备端进行推理，并在置信度较低时路由至更大模型，以最少的大模型调用实现了与Gemini 3.1 Flash-Lite相当的性能。
DogukanUrker演示了在单张RTX 3060上使用推测解码和KV缓存拆分运行Gemma 4 12B，拥有完整262,144上下文，速度约100 tok/s，实现了接近满GPU利用率且无需CPU卸载。
Google Gemma宣布，借助Hugging Face和Cerebras实现超快推理，开发者现在可以将Gemma 4 31B模型用作语音AI的大脑，这是开源级联语音到语音堆栈的一部分。
用户报告称，Gemma 4 在多轮代理任务中表现懒散且不佳，相比 Qwen、DeepSeek 和 GPT-OSS 等其他模型，尽管它是一款优秀的聊天机器人。
分析表明，Gemma 4 模型的基准性能深受聊天模板影响，而非模型权重。模板更改可在不改变任何参数的情况下导致行为变化；值得注意的是，所有规模版本的模型均未能通过危机信号场景。
MiaAI Lab 发布了一份指南，用于通过 vLLM 以 NVFP4 量化方式运行 Google 的 Gemma 4 31B IT，支持 256k 上下文、MTP 推测解码、智能体推理、原生工具调用以及图像/视频支持。
Google 更新了 Gemma 4 的聊天模板，显著修复了工具调用，减少了惰性，在 Hopper GPU 上启用了 Flash Attention 4，并发布了交互式视觉指南。这些更新现已可在 Hugging Face 上获取。
Google Gemma 正在推出对 Gemma 4 的重大改进，这些改进源于社区的反馈和贡献，详情参见一条推文串。
一个将融合操作拆分为两个矩阵乘法的修复方案，使 Gemma 4 能在使用了 13 年的双路 Xeon CPU 上以每秒 5.2 token 的速度运行，每次 token 仅使用 26B 权重中的 4B。
一位开发者成功在无GPU、双路Xeon的13年旧服务器上，使用修改版ik_llama.cpp（无需AVX2指令），以约每秒5个token的速度运行谷歌的Gemma 4 26B混合专家模型。
Google宣布了为Pixel 10的TPU优化的Gemma 4 E2B，实现了设备端多模态AI能力，如离线聊天、图像识别和音频转录。
Gemma-4-31B 的一个变体利用基于可解释性的引导技术，通过质疑错误前提来抵抗幻觉，在基准性能几乎不受影响的情况下，对错误前提的反驳效果提升了一倍。
Gemma 4 现在可以使用 React Native 在设备端完全离线运行，通过 Android 上的 Vulkan 和 Apple Silicon 上的 MLX 实现本地硬件加速，支持视觉和工具使用能力，例如阅读传单和安排日程，完全在设备端完成。
对谷歌 Gemma 4 技术报告的评论，指出他们通过量化感知训练（QAT）和多令牌预测（MTP）进行了激进的优化，以实现更快的推理。
Gemma 4 引入了新一代开放权重、原生多模态语言模型，采用密集和混合专家架构，具备思考模式以进行高级推理，提高了效率并支持长上下文能力。
Locagent 是一个私有、开源的人工智能，完全在您的浏览器中运行，使用 Gemma 4 模型，确保对话和文档永远不会离开您的设备。
在RTX 5090上运行量化后的Gemma-4-31B模型，上下文长度从35k增加到80k，展示了显著的性能提升。