标签
Liquid AI 发布 LFM2.5-24B-A2B 的 GGUF 量化版本,专为边缘 AI 和端侧部署设计,并包含通过量化感知蒸馏(QAD)训练的 Q4_0 检查点,以恢复量化带来的精度损失。
开源了 Rampart——一个浏览器原生的端侧 PII 过滤系统,结合正则规则与 MiniLM 小模型在数据离开设备前完成脱敏,模型仅 14.7MB、WebGPU 上 p50 延迟 3.9ms,七种语言的私有词召回率达 98.4%。
Assist 是一款在 Product Hunt 上发布的 macOS 会议助手,隐藏在 MacBook 刘海区域,可监听会议并实时建议回复,在屏幕共享时不可见,并支持完全在本地 Mac 上运行以保护隐私。
Liquid AI 发布了 Open d1,这是两个开放权重的多模态决策模型(d1-3B 和 d1-omni-600M),可在设备端实现实时推理。其中 3B 模型在 RTX 4090 上的决策延迟仅为 8 毫秒,在 Jetson Orin Nano 上为 50 毫秒。
Google DeepMind 推出 EmbeddingGemma 2,这是一款拥有 740M 参数的开源(Apache 2.0)多模态嵌入模型,将文本、代码、图像、视频和音频统一到共享嵌入空间中,并针对端侧推理进行了优化。该模型基于 Gemma 4 架构构建,支持 8K 上下文,并采用 Matryoshka 截断以提升存储效率。
EmbeddingGemma 2 使得在设备端完全离线运行多模态 RAG 成为可能:在 Pixel 11 Pro 上,文本搜索只需约 191MB 内存,文本、图片、视频和音频的嵌入则只需约 567MB。模型权重已依据 Apache 2.0 许可证开源。
Google DeepMind发布了EmbeddingGemma 2,这是一个开源的轻量级多模态嵌入模型,可将文本、代码、图像、视频和音频映射到同一共享空间,740M参数可在设备端运行,并采用Apache 2.0许可。
Google DeepMind 发布 EmbeddingGemma 2,这是其首个原生多模态开源嵌入模型,支持在统一向量空间中处理代码、图像、音频和视频,面向端侧设备部署。
Google DeepMind 发布 EmbeddingGemma 2,一个 740M 参数的开源多模态嵌入模型,支持文本、图像、视频和音频统一到 768 维向量空间,专为消费级硬件上的搜索、RAG、分类等任务设计;Unsloth 同时提供了 GGUF 量化版本。
一个 Chrome 扩展,使用在设备端运行的小型 ONNX 决策模型(opendecider-nano)过滤 YouTube 信息流,通过 WebGPU/WASM 运行,无需服务器或 API 调用。在 400 个视频上,针对“隐藏音乐”或“只看新闻”等规则,达到 0.934 的平衡准确率,还能对选中文本检测提示词注入。
@0xSigil 阐述「弱者定律」——如今在 MacBook 等消费级设备上运行的本地 AI 模型,性能已可超越 OpenAI 和 Anthropic 六个月前发布的前沿模型,并主张隐私与能力之间不应存在取舍。
Yubi 是一款仅 6 MB 的轻量级 Mac 应用,支持用户在光标处通过语音听写输入文本,所有音频处理均在本地设备上完成,提供免费层级,只需邮箱登录,无需信用卡。
ClementDelangue 宣布决策模型现已可在 llama.cpp 上本地运行,并介绍了通过 `llama serve` 使用 Kev-4B GGUF 发布版实现免费、快速且私密的工作流程。
kyutai_labs 发布了一篇技术博客,介绍如何训练 PocketTTS——一个拥有 100M 参数的端上文本转语音(TTS)模型。该模型采用 Deng 等人提出的 drifting 一步式生成目标,WER 低于 1%,同时具备高质量语音和声音克隆能力。据称这是首个以这种方式训练的语音模型,也是首个以这种方式训练的自回归模型。
EMA Lightning 是一款轻量、快速的土耳其语文本转语音模型,总参数量仅 860 万(约 34 MB),声称在 Freya-TR-Eval 上取得最低的词错误率(0.92%),优于 ElevenLabs v4 和 Gemini 3.8,支持流式生成,并可在 Apache 2.0 许可下完全离线运行。
AgBench 推出了一套基准测试和开源工具,用于评估智能体 AI 在个人设备上的表现,在超过 1.62 亿个数据点的基础上,从任务成功率、延迟、API 成本和数据暴露风险等维度对比了本地、混合和云端三种执行方式。研究发现没有哪一种架构占据绝对优势:本地执行虽然降低了云服务成本和隐私风险,但通常会降低任务成功率。
webAI 推出 TwIL-LM3-Pro,一款 36 亿参数的开源推理模型,可通过量化版本在日常电脑本地运行。在形式逻辑、SVAMP、MuSR 和 BIG-Bench Hard 等基准测试中,该模型在小型模型中取得最高分。他们还预告了 Meridian——即将推出的前沿级端侧模型系列。
Cactus-Compute 发布 Whistle,一个仅 16.9 MB 的端侧语音转文字模型,支持转录、词级时间戳和语音嵌入,可在手机、可穿戴设备、机器人及微控制器上无 GPU 运行,并在多项基准上与 Whisper 和 Moonshine 竞争。
开发者发布了 LokalBot 0.9.2,一款免费、开源的 Mac 会议记录应用,完全在本地设备上运行,整个技术栈由五个本地模型组成(Qwen3-ASR 用于转写、Nemotron 3 用于说话人分离、Qwen3.5 4B 用于生成笔记、Harrier 用于嵌入向量、LFM2.5 用于自动补全),同时在 M4 Max 上取得了基准测试改进。
Twin 是一款免费、开源、本地优先的 AI 小伙伴,悬浮在你的 Mac 桌面上——帮你查看短信、追踪日历、语音回复,并在你快忘记之前提醒你,所有数据都存储在本地的 DuckDB 文件中,无需云端或账号。用户只需自带 Claude、GPT、Gemini 或 Grok 的 API 密钥即可使用。