on-device-ai

标签

Cards List
#on-device-ai

Apple的200亿参数端侧模型仅占用2GB内存(18分钟阅读)

TLDR AI ↗ · 2026-10-26 缓存

一篇关于Apple端侧200亿参数Core Advanced模型的详细第三方分析,表明该模型仅占用约2GB内存,能耗仅为同类开源模型的三分之一。实现方式是将权重存储在闪存中,每次推理仅激活10-40亿参数,代价是数学性能较弱且控制能力有限。

0 人收藏 0 人点赞
#on-device-ai

让手机自己操作电脑:一个能操作 Android 应用的 2B 模型(4 分钟阅读)

TLDR AI ↗ · 2026-10-22 缓存

Opposide 推出可在 Android 手机本地运行的 GUI 智能体:使用 4-bit 量化的 GUI-Owl 1.5 2B 模型(基于 Qwen3-VL,由 Alibaba Mobile-Agent 团队出品),通过 llama.cpp 在设备上直接读屏并操作任意应用,无需服务器。通过裁剪状态栏、丢弃平坦背景图像 token 等优化,Mac M2 CPU 上单步耗时从 10.6 秒降至 7.3 秒,且在 36 屏测试集上精度不降。

0 人收藏 0 人点赞
#on-device-ai

如今,能力出众的智能体已能在笔记本电脑上运行,却依然无法被信任。稀缺的是权限层,而非智能。

Reddit r/AI_Agents ↗ · 2026-10-21

作者认为随着模型可在笔记本本地运行,真正的瓶颈不是智能而是权限控制——未来最有价值的层是在硬件与固件层面强制执行的授权机制。

0 人收藏 0 人点赞
#on-device-ai

NIDO is an AI assistant that lives on your Android phone. No accounts. No cloud. No NIDO server anywhere holding your data, because there is no NIDO server

Reddit r/AI_Agents ↗ · 2026-10-19

NIDO 是一款完全本地运行的 Android AI 助理,无需账号或云端服务器,支持本地模型、离线知识库、设备端加密存储与设备间点对点通信。

0 人收藏 0 人点赞
#on-device-ai

高通称AI实验室希望到2028年在手机上运行千亿参数模型(2分钟阅读)

TLDR AI ↗ · 2026-10-19 缓存

高通CEO Cristiano Amon表示,领先的AI实验室希望到2028年在手机上运行至少1000亿参数的模型。他还谈到端侧AI智能体、内存价格压力对智能手机销量的影响、智能眼镜、Modular开源以及面向2028年洛杉矶奥运会的6G计划。

0 人收藏 0 人点赞
#on-device-ai

@johnternus:恭喜团队!能够在桌面上如此高效地运行 Muse Spark Open 这样水准和规模的模型,真是太棒了……

X AI KOLs Timeline ↗ · 2026-10-15 缓存

John Ternus 祝贺团队高效地在 Mac Studio 上运行大型模型 Muse Spark Open,凸显了端侧 AI 性能的进步。

0 人收藏 0 人点赞
#on-device-ai

Galaxy S21 + Gemma 4 E2B Q3_K_M + Qwen3.5-0.8B Q4_K_M:相同的亚马逊任务,通过结构化浏览器感知生成两个不同的有效购物车

Reddit r/LocalLLaMA ↗ · 2026-10-14

实验展示了两个现成小模型(Gemma 4 E2B 和 Qwen3.5-0.8B)在 Galaxy S21 本地运行,通过 E2LLM/SiFR 浏览器感知完成同一 Amazon 购物任务,两次运行均生成不同但有效的购物车方案并以 READY_FOR_HUMAN_REVIEW 结束。所有日志、脚本与哈希均公开在 GitHub。

0 人收藏 0 人点赞
#on-device-ai

@GoogleDeepMind:新加坡已报案的犯罪中,超过一半使用了复杂的社会工程手段。我们正与 @GovTechSG 合作,开发设备端…

X AI KOLs ↗ · 2026-10-14 缓存

Google DeepMind与新加坡GovTech合作,基于开源模型Gemma微调构建设备端诈骗检测系统,可在保护个人隐私的同时实时识别本地社交工程诈骗威胁。

0 人收藏 0 人点赞
#on-device-ai

谷歌DeepMind与新加坡政府宣布推出新的人工智能工具,保护民众免受诈骗侵害

Google DeepMind Blog ↗ · 2026-10-14 缓存

Google DeepMind 与新加坡政府科技局(GovTech)宣布推出一款端侧 AI 诈骗检测模型。该模型基于轻量级 Gemma 模型微调而成,可在本地标记带有操纵性质的对话,同时不影响端到端加密或用户隐私。该两阶段处理流程在 2026 年新加坡国际网络安全周上亮相,并在主权沙箱环境中仅使用匿名化诈骗数据进行训练。

0 人收藏 0 人点赞
#on-device-ai

Show HN:Pulse Local,一款 AI 模型在你的电脑上运行的 Mac 预算管理应用

Hacker News Top ↗ · 2026-10-13 缓存

Pulse Local 是一款 Mac 预算管理应用,其 AI 模型完全在设备本地运行,在保护财务数据和提问隐私的同时,提供预算计划、目标、余额结转、拆分和现金流等功能。它使用小型本地模型,并通过双重读取验证方式核验财务问题的回答,采用一次性付费、价格由用户自行决定的定价模式。

0 人收藏 0 人点赞
#on-device-ai

像 Claude CoWork 一样运行本地 LLM 的手机端应用

Reddit r/LocalLLaMA ↗ · 2026-10-13

一位独立开发者发布了 SteerClaw Mobile,这是一款在手机端完整运行智能体循环的 Agentic 移动应用,支持 Qwen 等本地 LLM,兼容 MCP 服务器和搜索提供商,采用严格的隐私优先设计。目前已在 Apple TestFlight 和 Google Play 上开放早期测试与反馈。

0 人收藏 0 人点赞
#on-device-ai

我的 AI 智能体完全离线运行在手机上。诀窍是别让小模型自由发挥

Reddit r/AI_Agents ↗ · 2026-10-13

开发者介绍 NIDO,一个完全在 Android 手机上离线运行的开源 AI 助手,通过确定性路由让小模型(0.5B-7B)只处理真正开放式的任务,并发布了 0.1.29 至 0.1.32 四个 alpha 版本,新增多语言短语路由、重复提醒等功能。

0 人收藏 0 人点赞
#on-device-ai

@googledevs:构建能够仅凭描述内容就搜索照片、视频和音频的应用。以下是普通开发者…

X AI KOLs Timeline ↗ · 2026-10-12 缓存

Google 介绍了开发者如何结合 EmbeddingGemma 2 与 Google AI Edge,构建完全在设备端运行的应用,让用户通过自然语言描述来搜索照片、视频和音频。

0 人收藏 0 人点赞
#on-device-ai

借助 DeepMind 的 AlphaGenome 和通过 WebGPU 在浏览器中运行的 MedGemma 1.5 4B 探索 DNA

Reddit r/LocalLLaMA ↗ · 2026-10-12

AskCyph Health Explorer 是一款教育工具,结合 Google DeepMind 的 AlphaGenome API 预测基因变异的影响,并借助通过 WebGPU 在浏览器中本地运行的 MedGemma 1.5 4B 模型,在完全保护隐私的前提下探索 DNA 突变与疾病之间的关系。

0 人收藏 0 人点赞
#on-device-ai

CraveLens

Product Hunt ↗ · 2026-10-12 缓存

CraveLens 是一款 Chrome 扩展,利用设备端 AI 识别视频及网页选定区域中的食物,并为用户生成个性化的 Swiggy 购物车以供确认。该扩展现已在 Product Hunt 上线,免费使用,基于 Google Gemma 构建。

0 人收藏 0 人点赞
#on-device-ai

在手机上运行微调后的 0.8B 视觉模型的收据扫描器(免费)——详细费用追踪

Reddit r/LocalLLaMA ↗ · 2026-10-12

一款免费的 Android 应用,完全在设备端运行微调后的 0.8B 视觉模型(Qwen3.5 0.8B / OvisOCR2),可将收据扫描为逐项明细的 JSON 数据,用于个人开支追踪,同时支持连接自托管的 OpenAI 兼容 API。这些模型将开源发布,用户也可以捐赠收据图片来帮助改进模型。

0 人收藏 0 人点赞
#on-device-ai

@yibie: https://x.com/yibie/status/2109079699104399623

X AI KOLs Timeline ↗ · 2026-10-11 缓存

Cactus Compute 发布 Whistle:一个 16.9 MB、纯 CPU 运行的语音识别模型,支持七种欧洲语言,实测首 token 5-8 毫秒、解码约 1300 token/秒,但对不支持的语言(如中文、日文)不会报错,而是静默输出假词,存在生产环境静默污染风险。

0 人收藏 0 人点赞
#on-device-ai

@TheAhmadOsman:我并不是在质疑这是否属实(因为确实如此),我只是想知道这经历了多少轮创新迭代……

X AI KOLs Timeline ↗ · 2026-10-10 缓存

高通首席执行官克里斯蒂亚诺·阿蒙透露,一些领先的人工智能公司希望到2028年,手机能够持续运行千亿参数模型,并证实其中一些人工智能公司正在打造自己的手机。

0 人收藏 0 人点赞
#on-device-ai

iOS 27 悄然让设备端个人智能体成为可能:快捷指令的通知触发器可将 WhatsApp 和 Signal 消息交给第三方应用,无需云端,也无需关联设备。经过两周测试,内附截图

Reddit r/artificial ↗ · 2026-10-10

开发者分享了 iOS 27 新增的快捷指令通知触发器,使第三方应用(如其开发的 Molebot)能够完全在本地读取 WhatsApp 和 Signal 通知,无需云端或配对设备,从而实现真正的端上个人智能体,并总结了“不再新增数据见证方”的隐私规则。

0 人收藏 0 人点赞
#on-device-ai

微软展示全新 Windows 软件,为智能体 AI 重新打造

Reddit r/ArtificialInteligence ↗ · 2026-10-09 缓存

微软发布重大 Windows 改版,围绕“混合智能”打造,将 AI 智能体和 Copilot 应用与本地及云端 AI 深度原生集成,同时推出面向开发者和创作者的全新高端 Surface Laptop Ultra。

0 人收藏 0 人点赞
← Previous
Next →
← 返回首页

提交意见反馈