面向设备上机器学习的全传感器智能眼镜平台
摘要
本文介绍了ARGO,一个面向设备上机器学习的智能眼镜平台,该平台集成了多模态传感器套件和优化的YOLOv11模型,用于实时城市障碍物识别,实现了隐私保护的本地处理,具有低延迟和2.483 MB的内存占用。
arXiv:2607.16222v1 公告类型:新
摘要:本文介绍了ARGO,一个旨在融合人体工学舒适性、高计算吞吐量和能效的智能眼镜平台。与依赖云端的解决方案不同,ARGO利用STM32N6微控制器及其集成的神经处理单元(NPU),实现设备上机器学习,通过本地数据处理最小化延迟并保护用户隐私。主要贡献在于硬件、固件和人工智能的整体协同设计,核心是部署优化的YOLOv11模型用于实时城市障碍物识别。为确保与目标NPU的兼容性,我们引入了头部并行注意力(HPA),这是一种架构优化,能够在保留原始计算逻辑的同时实现高效的加速器执行。该模型在WOTR(Walking On The Road)数据集上训练,最终部署配置在严格的内存约束下达到了24的mAP50-95,内存占用仅为2.483 MB。该平台集成了多模态传感器套件——RGB摄像头、飞行时间传感器、麦克风和环境传感器——并在200 mAh电池下以10 FPS运行,持续续航约113分钟。这些结果证明了高性能、隐私保护且社会可接受的辅助设备的可行性,并突显了竞争性的边缘AI解决方案越来越需要紧密集成、多学科协同设计的方法。
查看缓存全文
缓存时间: 2026/07/21 06:45
# 全传感器化智能眼镜平台:面向设备端机器学习 ††注:本工作由 EssilorLuxottica 与 Politecnico di Milano 联合研究中心“Smart Eyewear Lab”承担。来源:https://arxiv.org/html/2607.16222 Andrea Giudici, Christian Veronesi, Pietro Bartoli, Mario Caliò, Franco Zappa DEIB, Politecnico di Milano 意大利米兰 name\.surname@polimi\.it &Aurelio Teliti, Giacomo Gervasoni, Diana Trojaniello EssilorLuxottica 意大利米兰 name\.surname@essilorluxottica\.com ###### 摘要 本文介绍 ARGO ——一种旨在兼顾人体工学舒适性、高计算吞吐量与能效的智能眼镜平台。与依赖云端的解决方案不同,ARGO 利用 STM32N6 微控制器及其集成的神经处理单元(NPU)实现设备端机器学习,从而最小化延迟,并通过本地数据处理保护用户隐私。主要贡献在于硬件、固件与人工智能的整体协同设计,核心是将优化后的 YOLOv11 模型部署用于实时城市障碍物识别。为确保与目标 NPU 的兼容性,我们引入 Head-wise Parallel Attention(HPA)——一种架构改进技术,可在保留原始计算逻辑的同时实现高效加速器执行。模型在 WOTR(Walking On The Road)数据集上训练,最终部署配置在严格的内存限制下达到 24% 的 mAP₅₀–₉₅,内存占用仅 2.483 MB。该平台集成了多模态传感器套件——RGB 摄像头、飞行时间传感器、麦克风及环境传感器——在 200 mAh 电池供电下实现 10 FPS 连续处理,持续续航 113 分钟。这些结果证明了高性能、保护隐私且社会可接受的辅助设备的可行性,并凸显出具有竞争力的边缘 AI 解决方案日益需要紧密集成、多学科协同的设计方法。 *关键词* 智能眼镜 · TinyML · YOLOv11 · STM32N6 · 神经处理单元 · 自我中心视觉 · 资源受限物联网 ## 1 引言 近年来,对可穿戴技术与物联网(IoT)的兴趣加速增长,这得益于超低功耗电子学的进步、制造成本的逐步降低、无线通信协议的改进、边缘 AI 能力的集成,以及消费、工业和医疗保健领域对持续监测的需求日益增长[38(https://arxiv.org/html/2607.16222#bib.bib15),32(https://arxiv.org/html/2607.16222#bib.bib16),11(https://arxiv.org/html/2607.16222#bib.bib37)]。特别是,可穿戴技术已成为向普适医疗和增强态势感知过渡的关键角色。这些设备能够在用户日常活动中持续、无创地采集和监测关键生理与生物参数——包括心率变异性[1(https://arxiv.org/html/2607.16222#bib.bib8)](HRV)、血糖浓度[12(https://arxiv.org/html/2607.16222#bib.bib2)]及呼吸频率[2(https://arxiv.org/html/2607.16222#bib.bib3)]。通过提供实时数据流,可穿戴设备为临床诊断和运动表现优化提供了宝贵见解[16(https://arxiv.org/html/2607.16222#bib.bib28),14(https://arxiv.org/html/2607.16222#bib.bib29)]。同时,可穿戴系统的演进已超越健康监测,扩展至对用户即时环境的数字处理。通过集成计算机视觉(CV)算法、接近传感器和摄像头,这些设备能够检测障碍物、识别潜在危险,并辨别用户附近的特定物体。这种双重功能——将内部生物数据与外部环境映射相结合——为工业与医疗场景中的先进辅助技术和主动安全系统铺平了道路。在此背景下,智能眼镜重新成为突出趋势,如图1(https://arxiv.org/html/2607.16222#S1.F1)所示,该图显示了智能眼镜相关年度出版物的趋势。这些设备是将电子系统集成到眼镜中,能够通过传感器以数字方式监测和增强佩戴者的模拟感知与感受。虽然未来应用场景令人兴奋,但实际部署施加了严格的外形和计算约束。旨在舒适的眼镜必须小巧、轻便且时尚,因为它们佩戴在面部——人类表达的核心部位。对于日常佩戴的眼镜更是如此,其主要设计理念是舒适与优雅。要使此类技术得到认可和使用,首先必须舒适且为社会所接受[28(https://arxiv.org/html/2607.16222#bib.bib17)]。 1970 1970 1990 1990 2010 2010 2020 2020 1 1 10 10 100 100 1000 1000 10000 10000 年份 出版物 可穿戴设备 智能眼镜 图1:宏观“可穿戴设备”查询及其“智能眼镜”子集的年度出版物。数据来自 Scopus(1969–2024)。 此外,眼镜的解剖学位置提供了无与伦比的优势。靠近主要感觉器官——特别是眼睛和耳朵——加上一致的自我中心视角,使得实现复杂算法以支持新颖应用成为可能[5(https://arxiv.org/html/2607.16222#bib.bib18)]。这些应用包括用于认知负荷估计的高精度眼动追踪、用于机器交互的以自我为参照的手势识别,以及注意力监测[17(https://arxiv.org/html/2607.16222#bib.bib21),34(https://arxiv.org/html/2607.16222#bib.bib22),15(https://arxiv.org/html/2607.16222#bib.bib19),26(https://arxiv.org/html/2607.16222#bib.bib20)]。此外,这种独特视角有助于实现无缝的增强现实(AR)叠加和直观的用户界面(UI)交互,使数字层与用户的物理环境协调一致[23(https://arxiv.org/html/2607.16222#bib.bib23)]。为实现这些目标,智能眼镜必须进行广泛传感器化,以从周围环境捕获高保真数据。在此架构中,原始数据在设备上直接进行初步预处理,以降低数据维度并提取相关特征。虽然这些初始操作计算量轻,但后续提取高层语义信息对可穿戴硬件有限的功耗预算构成了重大挑战。然而,资源密集型计算任务——特别是深度神经网络(DNN)的执行——通过分层处理方法进行管理:在专用硬件加速器上本地执行,或者对于更要求性的任务,卸载到外部边缘单元或云服务[37(https://arxiv.org/html/2607.16222#bib.bib4)]。这种分层处理策略是可穿戴平台(尤其是智能眼镜)固有的严格功耗预算所必需的。为保持美观且符合人体工学的工业设计,用于电源存储和电子元件的物理体积受到严格限制,通常容纳在小于 5 cm³ 的容积内。这种空间限制在以下方面带来了关键权衡:外形尺寸、电池容量、系统复杂性(即传感器数量、电源架构、内存空间)以及集成传感器套件的计算复杂度。 在本文中,我们介绍 ARGO——一种旨在优化人体工学舒适性、高性能计算与能效之间关系的智能眼镜系统。系统架构的核心是 STM32N6 微控制器(MCU),它在外设集成和 CPU 吞吐量之间提供了精妙的平衡。 参见说明 图2:ARGO 智能眼镜平台渲染图。 值得注意的是,嵌入式硬件神经处理单元(NPU)实现了本地高效推理,显著降低了通常与云端系统相关的延迟,并防止采集的数据暴露给外部服务器,从而增强了用户及周围环境的隐私[35(https://arxiv.org/html/2607.16222#bib.bib5)]。为促进跨多个 CV 领域的先进研究,该平台集成了全面的多模态传感器套件。这种传感器化框架旨在支持广泛应用,包括实时目标检测、手势识别、人体姿态估计以及同时定位与地图构建(SLAM)[13(https://arxiv.org/html/2607.16222#bib.bib6),6(https://arxiv.org/html/2607.16222#bib.bib7)]。本文全面介绍该系统,涵盖硬件设计、固件实现、神经模型部署及其实验特性评估。重点突出其在基于 YOLOv11 模型[29(https://arxiv.org/html/2607.16222#bib.bib24)]的目标检测应用中的使用。该系统能够处理基于图像流的神经模型,实现图像采集、数据处理、模型推理和后处理的连续流水线,速率高达 10 FPS,同时在单次 200 mAh 充电下保持约 113 分钟的工作自主时间。虽然帧率可通过深度固件栈优化进一步提升,但当前吞吐量在时间分辨率与功耗之间提供了最佳折衷。这确保了可靠的自我中心场景理解,而不会影响设备的热预算和能量预算。 本文其余部分安排如下:第2节(https://arxiv.org/html/2607.16222#S2)全面回顾智能眼镜技术的当前最新进展。第3节(https://arxiv.org/html/2607.16222#S3)详述硬件架构与传感器集成。第4节(https://arxiv.org/html/2607.16222#S4)专注于固件开发与机器学习模型的部署流水线。第5节(https://arxiv.org/html/2607.16222#S5)量化实验性能与功耗指标,而第6节(https://arxiv.org/html/2607.16222#S6)概述潜在的未来增强方向与研究路线。 ## 2 相关工作 当代对可穿戴技术的兴趣推动了各大科技公司与研究机构开发商业产品和研究原型,旨在探索智能眼镜的技术潜力与社会影响。在商业解决方案中,Ray-Ban Meta Wayfarer 通过将标志性美学与高端功能相结合,成功吸引了消费者兴趣。这些眼镜通过将标志性美学与高端功能相结合,为社交互动树立了新标准,实现了无缝的照片和视频拍摄,同时利用基于云的基础设施运行大型语言模型(LLM)以支持多模态用户交互。虽然 Ray-Ban Meta 通过“联网”方法将 AI 带入大众市场方面表现出色,但它有力地激励了研究社区突破直接在设备上可实现的目标,而无需持续依赖云服务器。为满足这些研究需求,多个硬件平台已涌现,为开发新 AI 模型、软件架构和自我中心数据集提供了基础。在此背景下,Meta 的 Project Aria[18(https://arxiv.org/html/2607.16222#bib.bib1)] 代表了多模态数据采集的黄金标准。Aria 配备了全面的传感器套件——包括多个摄像头、高精度 IMU 和麦克风阵列——开启了自我中心视觉研究的新前沿。然而,该平台仍然是一个封闭的“黑箱”生态系统,主要用于数据收集。对研究人员而言,缺乏对底层硬件的控制阻碍了深度架构优化。它排除了在模型、固件和硬件约束之间进行紧密协同设计的可能性,迫使复杂 AI 任务依赖板外处理或高功耗移动 SoC。 与此同时,开源社区尝试通过 OpenSmartGlass[33(https://arxiv.org/html/2607.16222#bib.bib35)] 等项目扩大智能眼镜的获取途径。虽然这些举措提供了透明性,但它们通常依赖 ESP32-S3[19(https://arxiv.org/html/2607.16222#bib.bib34)] 等通用微控制器,这类芯片缺乏专用神经加速能力。这导致运行 YOLO 等现代模型时延迟过高。为补偿这种计算低效,此类设备通常被迫使用大容量电池(高达 500 mAh),从而牺牲了人体工学,同时传感器集成最少——通常仅限于单个麦克风和一颗摄像头。 Brilliant Labs 的 Frame[9(https://arxiv.org/html/2607.16222#bib.bib30)] 展现了一种更先进的方法,利用 FPGA 实现流线型外形。然而,Frame 主要设计为智能手机的“伴侣设备”,缺乏独立、高频神经推理所需的原始设备端计算吞吐量。他们最近宣布的产品 Halo[10(https://arxiv.org/html/2607.16222#bib.bib31)] 似乎是 Frame 平台的有力升级。尽管如此,初步预览表明它仍遵循“瘦客户端”理念,将采集的数据卸载到远程服务器进行基于 LLM 的问答交互,而非执行密集的本地视觉处理。 另一种强调手势识别的方法体现在 Helios[7(https://arxiv.org/html/2607.16222#bib.bib32)] 中,该系统将基于事件的摄像头集成到商用 Ray-Ban Meta 镜框中。在此架构中,数据流式传输到外部开发板进行处理。该工作的主要贡献在于通过硬件-软件协同设计实现的效率。通过将硬件定制模型部署在 NXP 处理器上,系统实现了平均功耗 16 mW,该数值源于典型智能手表式交互的时间使用模式。结合紧凑的 200 mAh 电池(在 3.7 V 下提供约 0.74 Wh),这种低功耗使得预计工作寿命达到 46 小时。因此,这些结果表明,当硬件、固件和 AI 模型深度协同优化时,全天候“始终开启”手势检测的电池自主性是可行的。 智能眼镜与自我中心视觉系统的研究格局正果断转向边缘端处理;然而,关于电池自主性和机械集成的关键挑战仍未解决。尽管许多工作尝试在可穿戴平台上部署计算机视觉模型,但它们常常陷入脱节的设计方法,忽视了硬件、固件与 AI 之间的基本协同作用。Boussihmed 等人[8(https://arxiv.org/html/2607.16222#bib.bib13)] 对软件优化做出了重要贡献,他们引入了用于人行道障碍物检测的 TinyML 模型。通过将 YOLOv5n 架构缩小到仅 1.93 MB 的占用空间,作者实现了 22.8% 的 mAP₅₀₋₉₅,报告推理速度为 96.2 ms。然而,这项工作体现了非协同设计系统中的一个常见缺陷:验证是在标准桌面级 CPU 上进行的。缺乏在超低功耗微控制器上的原生实现,使得其实际部署价值有限。
相似文章
我在消费级AR眼镜上构建了一个面部识别概念验证。保护我们隐私的摩擦力已经消失了。
一名安全研究人员使用消费级AR眼镜构建了一个面部识别概念验证,展示了隐形捕捉、商品化数据库和实时查找消除了以前保护隐私的摩擦力。
Intelligent Eyewear | I/O 2026 Keynote
Google在I/O 2026上发布Android XR智能眼镜生态,首款音频眼镜将于2026年秋季上市,由Gemini驱动,支持免提语音帮助、导航、跨应用操作和实时翻译,并与三星、Gentle Monster、Warby Parker合作。
智能眼镜
三星和谷歌正将 Gemini AI 引入智能眼镜,将这款 AI 助手集成到可穿戴眼镜中。
从感知到行动:智能眼镜作为第一人称智能平台
本文综述了智能眼镜作为统一的第一人称智能平台,提出了针对受限硬件和多样化应用的感知-状态-交互-行动循环系统框架及评估协议。
Ego-OSCAR:第一人称开源立体捕捉系统
Ego-OSCAR 提出了一款开源、低成本的头戴式立体惯性捕捉设备,用于第一人称数据采集,并发布了硬件设计、软件以及约550小时带IMU数据的已标注立体视频。