标签
OpenClaw 被集成到 NVIDIA 新款 RTX Spark 笔记本的引导设置中,用户无需打开终端即可选择本地模型或连接云服务完成配置。
推文讨论用开源的 MiniCPM-V 4.7 在自有硬件上做图像理解,避免每次上传图片都调用付费视觉 API 产生持续云成本,并介绍如何将其集成到 agent 工作流中。
PrismML 推出基于 Qwen3.5 的 Ternary Bonsai 2 系列新模型 2B、4B 和 9B,采用 {−1, 0, +1} 三值权重表示,内存占用比全精度模型小 9 倍以上,并在吞吐与能效上最高提升 5 倍和 3 倍,面向手机、电脑和可穿戴设备上的本地智能体场景。
PixLate 是一款在 Product Hunt 上发布的文档翻译工具,可在保留原有排版与插图的情况下翻译 PDF、扫描件和图文页面,并提供并排校对、后台处理与本地化隐私处理,采用按次计费模式。
Liquid AI 发布 LFM2.5-24B-A2B,一个 24B 参数、仅 2B 激活参数的开源权重推理模型,专为快速、私密的设备端智能体设计,在多个智能体与工具使用基准上超越更大的 MoE 模型。
Liquid AI 发布 LFM2.5-24B-A2B,采用总参数量为 240 亿、每个词元仅激活 20 亿参数的混合专家(MoE)架构,主打本地设备上的高效多步智能体任务,并将上下文扩展至 13.1 万词元。
Liquid AI 发布 LFM2.5-24B-A2B,一个 24B 总参数、仅 2B 激活参数的推理型 MoE 模型,专为在本地设备上运行快速、私密的智能体而设计,在工具使用和智能体任务上可与参数量多约 50% 的模型竞争。
谷歌的 EmbeddingGemma 2 嵌入模型被改造成了一款语音转文字工具,通过在冻结的音频编码器之上添加一个经过训练的小型读取器,可在基础款 MacBook Air 上完全于本地运行,用约 13 秒转录一小时的音频。
有人将谷歌的 EmbeddingGemma 2 改造为语音识别模型,通过在冻结参数的嵌入模型上训练轻量级 Reader,把语音转写从生成问题变成检索问题,在 M3 MacBook Air 上实现 288× 实时速度(1 小时音频约 13 秒转写),WER 约 5%,可能重塑端侧 STT 市场。
OpenBMB 开源发布了 MiniCPM-V 4.7 35B-A3B 视觉语言模型,可在 iPhone/iPad 上以每秒 13–17 个词元的速度运行,并引入 LES(前瞻专家调度)技术加速 MoE(混合专家)推理,同时更新了在 34 项多模态基准测试中的表现。
MiniCPM-V 4.7 1B 是 MiniCPM-V 系列的最新模型,主打性能与效率的新帕累托前沿,采用早期视觉 token 压缩架构,支持 iOS/Android/HarmonyOS 及多家芯片平台的端侧部署,并提供 FP8 量化与 Self-Replay 微调方法。
Decision 3.0 已转换为面向 Apple 芯片的 Core ML 版本,在 M5 Pro 上完全在设备端将 1,000 个 pull request 分类到 vllm-sr 工作组中,每个 PR 仅需 0.12 秒,lite、nano 和 mini 三个变体已统一在一个仓库中。
Google 悄然发布了 Foresight,一款免费的 Mac AI 应用,用于会议记录和信息检索,基于 EmbeddingGemma 2 和 Gemma 4 完全离线运行,所有音频和个人数据均保留在本地。
Google 推出了一款免费的 Mac AI 笔记应用,所有高级功能无需订阅即可使用,完全本地运行,由 Embedding Gemma 2 驱动。
Liquid AI 发布 LFM2.5-24B-A2B 的 GGUF 量化版本,专为边缘 AI 和端侧部署设计,并包含通过量化感知蒸馏(QAD)训练的 Q4_0 检查点,以恢复量化带来的精度损失。
开源了 Rampart——一个浏览器原生的端侧 PII 过滤系统,结合正则规则与 MiniLM 小模型在数据离开设备前完成脱敏,模型仅 14.7MB、WebGPU 上 p50 延迟 3.9ms,七种语言的私有词召回率达 98.4%。
Assist 是一款在 Product Hunt 上发布的 macOS 会议助手,隐藏在 MacBook 刘海区域,可监听会议并实时建议回复,在屏幕共享时不可见,并支持完全在本地 Mac 上运行以保护隐私。
Liquid AI 发布了 Open d1,这是两个开放权重的多模态决策模型(d1-3B 和 d1-omni-600M),可在设备端实现实时推理。其中 3B 模型在 RTX 4090 上的决策延迟仅为 8 毫秒,在 Jetson Orin Nano 上为 50 毫秒。
Google DeepMind 推出 EmbeddingGemma 2,这是一款拥有 740M 参数的开源(Apache 2.0)多模态嵌入模型,将文本、代码、图像、视频和音频统一到共享嵌入空间中,并针对端侧推理进行了优化。该模型基于 Gemma 4 架构构建,支持 8K 上下文,并采用 Matryoshka 截断以提升存储效率。
EmbeddingGemma 2 使得在设备端完全离线运行多模态 RAG 成为可能:在 Pixel 11 Pro 上,文本搜索只需约 191MB 内存,文本、图片、视频和音频的嵌入则只需约 567MB。模型权重已依据 Apache 2.0 许可证开源。