on-device

标签

Cards List
#on-device

在全新的 NVIDIA RTX Spark 笔记本电脑上开箱即用地配置 OpenClaw

Reddit r/openclaw ↗ · 2026-10-16

OpenClaw 被集成到 NVIDIA 新款 RTX Spark 笔记本的引导设置中,用户无需打开终端即可选择本地模型或连接云服务完成配置。

0 人收藏 0 人点赞
#on-device

@heyshrutimishra: 你的应用不需要为每一张图片支付云账单。如果每次上传都调用付费视觉 API,使用成本就会变成一项持续的……

X AI KOLs Timeline ↗ · 2026-10-16 缓存

推文讨论用开源的 MiniCPM-V 4.7 在自有硬件上做图像理解,避免每次上传图片都调用付费视觉 API 产生持续云成本,并介绍如何将其集成到 agent 工作流中。

0 人收藏 0 人点赞
#on-device

基于 Qwen 3.5 的 Ternary Bonsai 2 系列:2B、4B 与 9B

Reddit r/LocalLLaMA ↗ · 2026-10-15 缓存

PrismML 推出基于 Qwen3.5 的 Ternary Bonsai 2 系列新模型 2B、4B 和 9B,采用 {−1, 0, +1} 三值权重表示,内存占用比全精度模型小 9 倍以上,并在吞吐与能效上最高提升 5 倍和 3 倍,面向手机、电脑和可穿戴设备上的本地智能体场景。

0 人收藏 0 人点赞
#on-device

PixLate

Product Hunt ↗ · 2026-10-14 缓存

PixLate 是一款在 Product Hunt 上发布的文档翻译工具,可在保留原有排版与插图的情况下翻译 PDF、扫描件和图文页面,并提供并排校对、后台处理与本地化隐私处理,采用按次计费模式。

0 人收藏 0 人点赞
#on-device

LFM2.5-24B-A2B(7 分钟阅读)

TLDR AI ↗ · 2026-10-14 缓存

Liquid AI 发布 LFM2.5-24B-A2B,一个 24B 参数、仅 2B 激活参数的开源权重推理模型,专为快速、私密的设备端智能体设计,在多个智能体与工具使用基准上超越更大的 MoE 模型。

0 人收藏 0 人点赞
#on-device

@maximelabonne:智能体智能便宜到无需计量:LFM2.5-24B-A2B 能与规模大得多的 MoE 模型媲美,而且速度快得惊人 非常 p…

X AI KOLs Following ↗ · 2026-10-13 缓存

Liquid AI 发布 LFM2.5-24B-A2B,采用总参数量为 240 亿、每个词元仅激活 20 亿参数的混合专家(MoE)架构,主打本地设备上的高效多步智能体任务,并将上下文扩展至 13.1 万词元。

0 人收藏 0 人点赞
#on-device

在设备端运行快速、私密的智能体:LFM2.5-24B-A2B 发布

Hugging Face Blog ↗ · 2026-10-13 缓存

Liquid AI 发布 LFM2.5-24B-A2B,一个 24B 总参数、仅 2B 激活参数的推理型 MoE 模型,专为在本地设备上运行快速、私密的智能体而设计,在工具使用和智能体任务上可与参数量多约 50% 的模型竞争。

0 人收藏 0 人点赞
#on-device

在 MacBook Air 上转录一小时的音频仅需约 13 秒

Hacker News Top ↗ · 2026-10-13 缓存

谷歌的 EmbeddingGemma 2 嵌入模型被改造成了一款语音转文字工具,通过在冻结的音频编码器之上添加一个经过训练的小型读取器,可在基础款 MacBook Air 上完全于本地运行,用约 13 秒转录一小时的音频。

0 人收藏 0 人点赞
#on-device

@aigclink:有人将谷歌的 EmbeddingGemma 2 改造为语音识别模型,实现了惊人的端侧推理速度

X AI KOLs Timeline ↗ · 2026-10-13 缓存

有人将谷歌的 EmbeddingGemma 2 改造为语音识别模型,通过在冻结参数的嵌入模型上训练轻量级 Reader,把语音转写从生成问题变成检索问题,在 M3 MacBook Air 上实现 288× 实时速度(1 小时音频约 13 秒转写),WER 约 5%,可能重塑端侧 STT 市场。

0 人收藏 0 人点赞
#on-device

一个能在 iPhone 上运行的 350 亿参数视觉模型?OpenBMB 刚刚发布了 MiniCPM-V 4.7

Reddit r/ArtificialInteligence ↗ · 2026-10-12

OpenBMB 开源发布了 MiniCPM-V 4.7 35B-A3B 视觉语言模型,可在 iPhone/iPad 上以每秒 13–17 个词元的速度运行,并引入 LES(前瞻专家调度)技术加速 MoE(混合专家)推理,同时更新了在 34 项多模态基准测试中的表现。

0 人收藏 0 人点赞
#on-device

openbmb/MiniCPM-V-4.7-1B

Reddit r/LocalLLaMA ↗ · 2026-10-12 缓存

MiniCPM-V 4.7 1B 是 MiniCPM-V 系列的最新模型,主打性能与效率的新帕累托前沿,采用早期视觉 token 压缩架构,支持 iOS/Android/HarmonyOS 及多家芯片平台的端侧部署,并提供 FP8 量化与 Self-Replay 微调方法。

0 人收藏 0 人点赞
#on-device

@Alex_tra_memory: Decision 3.0 现已支持 Core ML,d3-lite 正在 M5 Pro 上实时将 1,000 个 pull request 分类到 vllm-sr 工作组中,每个…

X AI KOLs Timeline ↗ · 2026-10-11 缓存

Decision 3.0 已转换为面向 Apple 芯片的 Core ML 版本,在 M5 Pro 上完全在设备端将 1,000 个 pull request 分类到 vllm-sr 工作组中,每个 PR 仅需 0.12 秒,lite、nano 和 mini 三个变体已统一在一个仓库中。

0 人收藏 0 人点赞
#on-device

@Michaelzsguo:Google 悄然发布了一款 Mac AI 应用:Foresight,免费、无需订阅,完全本地离线运行。我……

X AI KOLs Timeline ↗ · 2026-10-11 缓存

Google 悄然发布了 Foresight,一款免费的 Mac AI 应用,用于会议记录和信息检索,基于 EmbeddingGemma 2 和 Gemma 4 完全离线运行,所有音频和个人数据均保留在本地。

0 人收藏 0 人点赞
#on-device

@Saboo_Shubham_:太疯狂了。Google 刚刚发布了 Mac 平台的免费 AI 笔记应用。所有高级功能无需订阅即可使用……

X AI KOLs Timeline ↗ · 2026-10-10 缓存

Google 推出了一款免费的 Mac AI 笔记应用,所有高级功能无需订阅即可使用,完全本地运行,由 Embedding Gemma 2 驱动。

0 人收藏 0 人点赞
#on-device

LiquidAI/LFM2.5-24B-A2B-GGUF

Hugging Face Models Trending ↗ · 2026-10-09 缓存

Liquid AI 发布 LFM2.5-24B-A2B 的 GGUF 量化版本,专为边缘 AI 和端侧部署设计,并包含通过量化感知蒸馏(QAD)训练的 Q4_0 检查点,以恢复量化带来的精度损失。

0 人收藏 0 人点赞
#on-device

Rampart:浏览器原生的设备端个人身份信息脱敏

Hacker News Top ↗ · 2026-10-09 缓存

开源了 Rampart——一个浏览器原生的端侧 PII 过滤系统,结合正则规则与 MiniLM 小模型在数据离开设备前完成脱敏,模型仅 14.7MB、WebGPU 上 p50 延迟 3.9ms,七种语言的私有词召回率达 98.4%。

0 人收藏 0 人点赞
#on-device

Assist

Product Hunt ↗ · 2026-10-09 缓存

Assist 是一款在 Product Hunt 上发布的 macOS 会议助手,隐藏在 MacBook 刘海区域,可监听会议并实时建议回复,在屏幕共享时不可见,并支持完全在本地 Mac 上运行以保护隐私。

0 人收藏 0 人点赞
#on-device

@heyshrutimishra:AI 模型正变得足够小,可以直接在你的设备上做出实时决策。Liquid AI 刚刚发布了两款决策模型……

X AI KOLs Timeline ↗ · 2026-10-08 缓存

Liquid AI 发布了 Open d1,这是两个开放权重的多模态决策模型(d1-3B 和 d1-omni-600M),可在设备端实现实时推理。其中 3B 模型在 RTX 4090 上的决策延迟仅为 8 毫秒,在 Jetson Orin Nano 上为 50 毫秒。

0 人收藏 0 人点赞
#on-device

EmbeddingGemma 2:一款开源、轻量级的多模态嵌入模型

Google DeepMind Blog ↗ · 2026-10-06 缓存

Google DeepMind 推出 EmbeddingGemma 2,这是一款拥有 740M 参数的开源(Apache 2.0)多模态嵌入模型,将文本、代码、图像、视频和音频统一到共享嵌入空间中,并针对端侧推理进行了优化。该模型基于 Gemma 4 架构构建,支持 8K 上下文,并采用 Matryoshka 截断以提升存储效率。

0 人收藏 0 人点赞
#on-device

@Saboo_Shubham_:没想到吧……你现在可以在手机上运行多模态 RAG,完全离线、完全免费。EmbeddingGemma 2 的文本搜索只需约 191MB……

X AI KOLs Timeline ↗ · 2026-10-06 缓存

EmbeddingGemma 2 使得在设备端完全离线运行多模态 RAG 成为可能:在 Pixel 11 Pro 上,文本搜索只需约 191MB 内存,文本、图片、视频和音频的嵌入则只需约 567MB。模型权重已依据 Apache 2.0 许可证开源。

0 人收藏 0 人点赞
← Previous
Next →
← 返回首页

提交意见反馈