gemma

本文研究指令调优LLMs（特别是Gemma-3-12B）中的一个对齐漏洞，通过展示预令牌隐藏状态偏移可以作为对齐策略遍历向量，从而可能绕过安全措施。

文章报告了LLM中的一个潜在对齐漏洞：模型在处理一个结构化的段落之后，即使后续问题与段落内容完全无关，其回答也可能发生变化。来自Gemma-3-12B的机制证据显示了隐藏状态的分离。

Google AI Edge Eloquent 现已支持 Mac，作为完全本地的 Wispr Flow 替代品，基于最新 Gemma 模型实现实时语音转录和语音命令编辑文本，免费、无订阅且隐私全本地。

这篇博文介绍了在代理框架中使用Gemma、Qwen等本地开源权重模型，自动对OpenClaw仓库中的问题和拉取请求进行分类，从而实现实时通知，无需依赖昂贵的封闭API模型。

本文介绍了本地视觉语言模型基准测试的第二次更新，比较了23个模型在30张图像上的表现（使用修订设置），并为不同VRAM层级提供了性能建议。主要发现包括：推理模式会损害视觉性能，且MoE模型在感知任务上表现不如密集模型。

通过abliteration技术去除拒绝机制的gemma-4-12B-coder模型的无审查版本，仅供研究和实验用途。

现在可以使用 Google Gemma 开放模型直接在笔记本电脑上部署本地编码代理，实现离线执行和更快的开发工作流程。

文章介绍了Xenova开源了27个自定义WebGPU内核，使得Gemma 4模型可以在浏览器中完全离线、本地运行，性能达到255 tok/s，并讨论了隐私、离线使用等优势。同时也提到了FLUX.2的3D生成能力。

NAVI-Orbital展示了零样本视觉语言模型（Gemma 3）在低地球轨道卫星上的首次在轨部署，无需微调即可实现自主场景分类和地球观测数据的语义压缩。

文章指出，过去一年中，本地AI模型变得显著更有用，从玩具变成了编程和工作流程的实用工具，尽管在复杂任务上仍落后于闭源模型。

用户使用类似电车难题的道德困境测试Gemma-4-e4b本地模型，发现当场景被设定为假设时，模型拒绝伤害船员的态度发生转变，这引发了关于提示敏感性与实际推理能力之间关系的疑问。

谷歌发布了Gemma 3，一个270M参数的语言模型。

用户询问，在本地LLM中提供其写作风格的样本，是放在对话中更有效，还是放在系统提示中更有效。

经过两个月本地 LLM 测试，作者认为 gemma-4-12B-it-QAT 和 MTP 辅助组合在速度和可用性上表现最佳，硬件为 i7-13700 + 64GB RAM + RTX 4070。

react-native-executorch 库现已集成 Google 的 Gemma 4 模型，可实现完全离线的 GPU 加速推理，在 Android 上使用 Vulkan 委托，在 Apple Silicon 上使用 MLX 委托。

Ironsmith 是一款开源 macOS 应用，只需一个提示即可生成本地 macOS 应用，使用 Gemma 4 等本地 AI 模型，能在 8GB MacBook Air 等低端硬件上运行。

在Google Pixel 10 Pro上使用llama.cpp运行Gemma 12B模型，实现了每秒6.5个token的提示处理和每秒1.3个token的生成，功耗低于10瓦，展示了高效的设备端AI推理。

用户就如何在 Q4 量化的 Qwen 3.6 35B-A3B 和 Q8 量化的 Gemma 4 12B 之间做出选择征求意见，用于本地代码库工作，设备为 32GB 统一内存。

一位开发者构建了Bantz，一个完全本地的AI个人助手，运行在Gemma 4b上，具有管家角色，集成了Gmail、日历、网页搜索、系统监控和桌面控制，强调不依赖云基础设施。

2026年中本地AI模型的技术概览，重点介绍开放权重模型如何通过混合专家模型和稀疏注意力机制的进步缩小了与前沿模型的差距，从而实现高效的本地推理。