on-device

标签

Cards List
#on-device

LiquidAI/LFM2.5-24B-A2B-GGUF

Hugging Face Models Trending ↗ · 2026-10-09 缓存

Liquid AI 发布 LFM2.5-24B-A2B 的 GGUF 量化版本,专为边缘 AI 和端侧部署设计,并包含通过量化感知蒸馏(QAD)训练的 Q4_0 检查点,以恢复量化带来的精度损失。

0 人收藏 0 人点赞
#on-device

Rampart:浏览器原生的设备端个人身份信息脱敏

Hacker News Top ↗ · 2026-10-09 缓存

开源了 Rampart——一个浏览器原生的端侧 PII 过滤系统,结合正则规则与 MiniLM 小模型在数据离开设备前完成脱敏,模型仅 14.7MB、WebGPU 上 p50 延迟 3.9ms,七种语言的私有词召回率达 98.4%。

0 人收藏 0 人点赞
#on-device

Assist

Product Hunt ↗ · 2026-10-09 缓存

Assist 是一款在 Product Hunt 上发布的 macOS 会议助手,隐藏在 MacBook 刘海区域,可监听会议并实时建议回复,在屏幕共享时不可见,并支持完全在本地 Mac 上运行以保护隐私。

0 人收藏 0 人点赞
#on-device

@heyshrutimishra:AI 模型正变得足够小,可以直接在你的设备上做出实时决策。Liquid AI 刚刚发布了两款决策模型……

X AI KOLs Timeline ↗ · 2026-10-08 缓存

Liquid AI 发布了 Open d1,这是两个开放权重的多模态决策模型(d1-3B 和 d1-omni-600M),可在设备端实现实时推理。其中 3B 模型在 RTX 4090 上的决策延迟仅为 8 毫秒,在 Jetson Orin Nano 上为 50 毫秒。

0 人收藏 0 人点赞
#on-device

EmbeddingGemma 2:一款开源、轻量级的多模态嵌入模型

Google DeepMind Blog ↗ · 2026-10-06 缓存

Google DeepMind 推出 EmbeddingGemma 2,这是一款拥有 740M 参数的开源(Apache 2.0)多模态嵌入模型,将文本、代码、图像、视频和音频统一到共享嵌入空间中,并针对端侧推理进行了优化。该模型基于 Gemma 4 架构构建,支持 8K 上下文,并采用 Matryoshka 截断以提升存储效率。

0 人收藏 0 人点赞
#on-device

@Saboo_Shubham_:没想到吧……你现在可以在手机上运行多模态 RAG,完全离线、完全免费。EmbeddingGemma 2 的文本搜索只需约 191MB……

X AI KOLs Timeline ↗ · 2026-10-06 缓存

EmbeddingGemma 2 使得在设备端完全离线运行多模态 RAG 成为可能:在 Pixel 11 Pro 上,文本搜索只需约 191MB 内存,文本、图片、视频和音频的嵌入则只需约 567MB。模型权重已依据 Apache 2.0 许可证开源。

0 人收藏 0 人点赞
#on-device

Google EmbeddingGemma 2

Product Hunt ↗ · 2026-10-06 缓存

Google DeepMind发布了EmbeddingGemma 2,这是一个开源的轻量级多模态嵌入模型,可将文本、代码、图像、视频和音频映射到同一共享空间,740M参数可在设备端运行,并采用Apache 2.0许可。

0 人收藏 0 人点赞
#on-device

@GoogleDeepMind:认识 EmbeddingGemma 2,这是我们的首个原生多模态端侧嵌入开源模型。它从文本扩展到统一……

X AI KOLs ↗ · 2026-10-06 缓存

Google DeepMind 发布 EmbeddingGemma 2,这是其首个原生多模态开源嵌入模型,支持在统一向量空间中处理代码、图像、音频和视频,面向端侧设备部署。

0 人收藏 0 人点赞
#on-device

unsloth/embeddinggemma-2-GGUF

Hugging Face Models Trending ↗ · 2026-10-06 缓存

Google DeepMind 发布 EmbeddingGemma 2,一个 740M 参数的开源多模态嵌入模型,支持文本、图像、视频和音频统一到 768 维向量空间,专为消费级硬件上的搜索、RAG、分类等任务设计;Unsloth 同时提供了 GGUF 量化版本。

0 人收藏 0 人点赞
#on-device

我做了一个 Chrome 扩展,用浏览器内运行的小型本地模型过滤你的 YouTube 信息流(WebGPU,无需服务器)

Reddit r/LocalLLaMA ↗ · 2026-10-06

一个 Chrome 扩展,使用在设备端运行的小型 ONNX 决策模型(opendecider-nano)过滤 YouTube 信息流,通过 WebGPU/WASM 运行,无需服务器或 API 调用。在 400 个视频上,针对“隐藏音乐”或“只看新闻”等规则,达到 0.934 的平衡准确率,还能对选中文本检测提示词注入。

0 人收藏 0 人点赞
#on-device

@TheAhmadOsman:.@0xSigil 谈「弱者定律」:你 MacBook 上运行的本地 AI 已能超越 OpenAI 和 Anthropic …

X AI KOLs Timeline ↗ · 2026-10-06 缓存

@0xSigil 阐述「弱者定律」——如今在 MacBook 等消费级设备上运行的本地 AI 模型,性能已可超越 OpenAI 和 Anthropic 六个月前发布的前沿模型,并主张隐私与能力之间不应存在取舍。

0 人收藏 0 人点赞
#on-device

Yubi

Product Hunt ↗ · 2026-10-02 缓存

Yubi 是一款仅 6 MB 的轻量级 Mac 应用,支持用户在光标处通过语音听写输入文本,所有音频处理均在本地设备上完成,提供免费层级,只需邮箱登录,无需信用卡。

0 人收藏 0 人点赞
#on-device

@ClementDelangue:决策模型现已可在 llama.cpp 上本地运行。免费、快速、私密!llama serve -hf ggml-org/Kev-4B-GGUF

X AI KOLs Following ↗ · 2026-10-02 缓存

ClementDelangue 宣布决策模型现已可在 llama.cpp 上本地运行,并介绍了通过 `llama serve` 使用 Kev-4B GGUF 发布版实现免费、快速且私密的工作流程。

0 人收藏 0 人点赞
#on-device

@kyutai_labs:我们发布了一篇技术博客,介绍如何通过 drifting(drifting——Deng 等人提出的一种最新的一步式生成目标)训练 PocketTTS,我们拥有 100M 参数的端上 TTS 模型……

X AI KOLs Timeline ↗ · 2026-10-01 缓存

kyutai_labs 发布了一篇技术博客,介绍如何训练 PocketTTS——一个拥有 100M 参数的端上文本转语音(TTS)模型。该模型采用 Deng 等人提出的 drifting 一步式生成目标,WER 低于 1%,同时具备高质量语音和声音克隆能力。据称这是首个以这种方式训练的语音模型,也是首个以这种方式训练的自回归模型。

0 人收藏 0 人点赞
#on-device

canberkkkkkk/ema-lightning

Hugging Face Models Trending ↗ · 2026-10-01 缓存

EMA Lightning 是一款轻量、快速的土耳其语文本转语音模型,总参数量仅 860 万(约 34 MB),声称在 Freya-TR-Eval 上取得最低的词错误率(0.92%),优于 ElevenLabs v4 和 Gemini 3.8,支持流式生成,并可在 Apache 2.0 许可下完全离线运行。

0 人收藏 0 人点赞
#on-device

AgBench:面向个人 AI 设备的智能体 AI 基准测试

arXiv cs.AI ↗ · 2026-10-01 缓存

AgBench 推出了一套基准测试和开源工具,用于评估智能体 AI 在个人设备上的表现,在超过 1.62 亿个数据点的基础上,从任务成功率、延迟、API 成本和数据暴露风险等维度对比了本地、混合和云端三种执行方式。研究发现没有哪一种架构占据绝对优势:本地执行虽然降低了云服务成本和隐私风险,但通常会降低任务成功率。

0 人收藏 0 人点赞
#on-device

@Davidstout:一个月内下载量突破五十万。今天,我们的开源家族又迈出了新的一步。感谢大家难以置信的……

X AI KOLs Timeline ↗ · 2026-09-30 缓存

webAI 推出 TwIL-LM3-Pro,一款 36 亿参数的开源推理模型,可通过量化版本在日常电脑本地运行。在形式逻辑、SVAMP、MuSR 和 BIG-Bench Hard 等基准测试中,该模型在小型模型中取得最高分。他们还预告了 Meridian——即将推出的前沿级端侧模型系列。

0 人收藏 0 人点赞
#on-device

Cactus-Compute/whistle

Hugging Face Models Trending ↗ · 2026-09-30 缓存

Cactus-Compute 发布 Whistle,一个仅 16.9 MB 的端侧语音转文字模型,支持转录、词级时间戳和语音嵌入,可在手机、可穿戴设备、机器人及微控制器上无 GPU 运行,并在多项基准上与 Whisper 和 Moonshine 竞争。

0 人收藏 0 人点赞
#on-device

五个本地模型,6.8 GB 权重:我的开源 Mac 会议记录器

Reddit r/LocalLLaMA ↗ · 2026-09-30

开发者发布了 LokalBot 0.9.2,一款免费、开源的 Mac 会议记录应用,完全在本地设备上运行,整个技术栈由五个本地模型组成(Qwen3-ASR 用于转写、Nemotron 3 用于说话人分离、Qwen3.5 4B 用于生成笔记、Harrier 用于嵌入向量、LFM2.5 用于自动补全),同时在 M4 Max 上取得了基准测试改进。

0 人收藏 0 人点赞
#on-device

Twin

Product Hunt ↗ · 2026-09-30 缓存

Twin 是一款免费、开源、本地优先的 AI 小伙伴,悬浮在你的 Mac 桌面上——帮你查看短信、追踪日历、语音回复,并在你快忘记之前提醒你,所有数据都存储在本地的 DuckDB 文件中,无需云端或账号。用户只需自带 Claude、GPT、Gemini 或 Grok 的 API 密钥即可使用。

0 人收藏 0 人点赞
← Previous
Next →
← 返回首页

提交意见反馈