on-device-ai

标签

Cards List
#on-device-ai

报告:苹果将跳过M6 Pro/Max芯片,加速推进M7用于本地AI

Reddit r/LocalLLaMA · 2小时前 缓存

苹果计划跳过M6 Pro/Max芯片版本,加速开发M7芯片以增强设备端AI性能,目标2027年发布。此举是为了应对英伟达、AMD、英特尔和高通在AI处理领域的竞争。

0 人收藏 0 人点赞
#on-device-ai

SDXL 在浏览器中本地运行于 WebGPU,开源

Reddit r/LocalLLaMA · 昨天

Stable Diffusion XL (SDXL) 现在可以使用 WebGPU 在浏览器中本地运行,通过开源代码直接在设备上生成高质量 AI 图像。

0 人收藏 0 人点赞
#on-device-ai

我建了一个健身应用,能让你的朋友和家人真正和你一起锻炼。

Reddit r/AI_Agents · 3天前

RepSquad 是一款健身应用,利用设备端AI实时计数次数并评估动作形式,通过和朋友及家人进行社交挑战来激励锻炼。

0 人收藏 0 人点赞
#on-device-ai

Pixi的新iOS应用将短信转化为互动AR体验

TechCrunch AI · 2026-06-18 缓存

Pixi推出一款iOS即时通讯应用,利用设备端AI发送互动AR角色,这些角色能对真实环境和用户情绪做出反应,旨在让对话更生动、更贴近当下。

0 人收藏 0 人点赞
#on-device-ai

我开发了一款在本地运行AI模型的安卓应用

Reddit r/artificial · 2026-06-15

一位开发者创建了一款在本地运行AI模型的安卓应用,支持GGUF和LiteRT格式,并提供了多种添加模型的方式。

0 人收藏 0 人点赞
#on-device-ai

移动NPU上的能效型端侧RAG:Snapdragon X Elite系统设计与基准测试

arXiv cs.CL · 2026-06-11 缓存

本文介绍了首个完全运行在移动NPU(Snapdragon X Elite上的Qualcomm Hexagon)上的端到端RAG流水线,相比CPU实现了高达18倍的LLM预填充加速和4倍的能耗降低,且无质量退化。

0 人收藏 0 人点赞
#on-device-ai

语义距离作为路由层:一种无服务器、设备端的中心索引模型替代方案

Reddit r/LocalLLaMA · 2026-06-09

提出一种去中心化的信息发现系统,使用设备端嵌入模型和点对点传播,消除了对搜索引擎等中心索引的需求。

0 人收藏 0 人点赞
#on-device-ai

苹果发布基于谷歌Gemini模型构建的新AI架构

Hacker News Top · 2026-06-08 缓存

苹果宣布对其Apple Intelligence平台进行重大改革,发布了一套与谷歌合作、基于Gemini技术共同开发的基础模型构建的新AI架构,该架构支持多模态能力,并通过Private Cloud Compute实现隐私保护的设备端与服务器端处理。

0 人收藏 0 人点赞
#on-device-ai

将 Gemma 4 12B 引入您的笔记本电脑:通过 Google AI Edge 解锁本地、自主工作流

Reddit r/LocalLLaMA · 2026-06-05 缓存

谷歌宣布通过 Google AI Edge 在笔记本电脑上提供 Gemma 4 12B,借助 AI Edge Gallery 和 Eloquent 等工具,支持本地、自主和多模态工作流。

0 人收藏 0 人点赞
#on-device-ai

我们是否低估了小型边缘AI模型?[D]

Reddit r/MachineLearning · 2026-06-05

一位开发者认为,边缘AI社区忽视了那些可以在智能手机等设备上本地运行的小型专门模型,并以自建的离线摩尔斯电码识别功能为例。该项目使用了小于5MB的AI模型,基于TensorFlow/Keras和LiteRT,从数据生成到移动端集成的整个流程均为自建。

0 人收藏 0 人点赞
#on-device-ai

# Meta 在智能眼镜上推出面部识别功能

Hacker News Top · 2026-06-04 缓存

# 安全研究人员在 Meta 智能眼镜配套应用中发现完整人脸识别管道 一名安全研究人员发现,Meta 的 Stella 智能眼镜配套应用(v273.0.0.21)内置了一套完整且可运行的人脸识别流程——包括三个本地模型、一个生物特征嵌入数据库以及一套通知系统。该功能在普通账户上处于休眠状态,但可通过直接调用的方式激活,引发了严重的隐私安全担忧。 ## 技术细节 该人脸识别管道包含以下核心组件: - **三个本地端机器学习模型**,部署于设备端,无需联网即可运行 - **生物特征嵌入数据库**,能够生成并存储 2048 维的人脸特征向量 - **通知触发系统**,可在识别到特定人物时发送 "Person Recognized"(已识别人员)通知 该管道具备完整的人脸检测与识别能力:先检测画面中的人脸,随后生成 2048 维的生物特征嵌入向量,并可触发相应的识别通知。 ## 当前状态 目前,Meta 尚未被观察到针对普通用户激活这一功能。在标准账户环境下,该管道处于休眠状态,但研究人员证实,通过直接调用相关接口,该流程可被完整启动并正常运行。 ## 隐私影响 此次发现引发了多方面的重大隐私担忧: - **隐蔽性**:智能眼镜的摄像头本身难以被旁观者察觉,配合实时人脸识别能力,可在当事人毫不知情的情况下完成身份识别 - **数据留存风险**:生物特征嵌入数据库的存在意味着用户面部数据可能被采集并持久化存储 - **功能预置争议**:将完整可用的识别管道以"休眠"形式内置于应用中,而非在获得用户明确授权后再行部署,这一做法本身即引发合规质疑 ## 背景 Meta 旗下的 Ray-Ban Meta 智能眼镜已具备拍照与录像功能,此前已引发隐私方面的讨论。此次发现的休眠人脸识别管道,将潜在的隐私风险提升至新的层级——从被动记录升级为主动的实时生物特征识别。 目前,Meta 尚未就此事作出公开回应,也未说明该功能的最终用途及部署计划。

0 人收藏 0 人点赞
#on-device-ai

在你的iPhone上运行(最大的)本地模型

Reddit r/LocalLLaMA · 2026-06-04

一款工具或应用,让用户能直接从iPhone上运行大型本地AI模型,将设备端LLM推理带到iOS。

0 人收藏 0 人点赞
#on-device-ai

Unsloth 登陆 Apple Silicon - 预公告

Reddit r/LocalLLaMA · 2026-06-04

Unsloth,一款流行的 LLM 微调库,宣布即将支持 Apple Silicon 设备,将其优化能力扩展至 NVIDIA GPU 之外。

0 人收藏 0 人点赞
#on-device-ai

AI 战争正从模型转向硬件,但我觉得讨论得远远不够

Reddit r/artificial · 2026-06-04

一篇评论文章认为,AI 竞争正从模型质量转向硬件部署与基础设施。文中指出,微软的 Project Solara、英伟达的 RTX Spark 以及字节跳动自研 CPU 等案例表明,智能体工作负载正推动着硅片与部署策略的革新。

0 人收藏 0 人点赞
#on-device-ai

谷歌的 Gemma 4 12B 刚刚发布 —— 下面教你如何在 Mac 上本地运行它

Reddit r/artificial · 2026-06-04

Google 发布了 Gemma 4 12B,这是一款基于 Apache 2.0 开源协议的多模态模型,支持文本、视觉和音频处理,上下文窗口达 256K。本文提供了一份指南,介绍如何在 Mac 上使用 Ollama、LM Studio 或 llama.cpp 本地运行该模型。

0 人收藏 0 人点赞
#on-device-ai

数据中心移动到你的设备上(4分钟阅读)

TLDR AI · 2026-06-03

Perplexity在2026年台北国际电脑展上发布了一款混合本地-云端推理系统,该系统能智能地在设备端模型和云端模型之间路由查询,基于其早前的Personal Computer agent构建。

0 人收藏 0 人点赞
#on-device-ai

下一个

Reddit r/ArtificialInteligence · 2026-06-01

本文讨论了人工智能从数据中心向笔记本电脑和台式机的转变,这一转变由Nvidia新的基于Arm的处理器和微软的AI集成推动,引发了企业硬件的重大升级周期。

0 人收藏 0 人点赞
#on-device-ai

@cjzafir: 今天微调你的第一个AI模型。运行GPT4o级别的模型,并在你的手机或笔记本电脑上运行。@OpenBMB发布了15M样本…

X AI KOLs Following · 2026-05-29 缓存

OpenBMB发布了UltraData-SFT-2605,一个包含1500万样本的高质量SFT数据集,用于微调如MiniCPM5-1B等AI模型,使其能在手机或笔记本电脑上运行。

1 人收藏 1 人点赞
#on-device-ai

意图原型:嵌入API

Lobsters Hottest · 2026-05-26 缓存

Chromium团队为Web平台提出了一种新的嵌入API,允许开发者利用Chrome的AI基础设施在设备端生成向量嵌入,从而实现保护隐私的语义搜索、检索增强生成和内容聚类,同时降低延迟和成本。

0 人收藏 0 人点赞
#on-device-ai

直接在PC上运行Chrome的小型Gemma4(即Gemini Nano),无需GPU

Reddit r/LocalLLaMA · 2026-05-23

一位开发者创建了一个名为Dobby的Chrome扩展程序,可以在PC上本地运行谷歌的Gemma4(Gemini Nano),无需GPU,只需Chrome和16GB内存。该扩展提供了一个简单的界面,用于与模型交互,完成拼写检查或摘要等任务。

0 人收藏 0 人点赞
Next →
← 返回首页

提交意见反馈