@medialab: 在@Nature上,媒体实验室的一组研究人员展示了消费级LiDAR——也就是帮助iPhone自动对焦、为Vision Pro提供深度感知、引导扫地机器人穿过客厅的同一类传感器……
摘要
MIT Media Lab的研究人员证明,消费级LiDAR传感器(如iPhone中的传感器)可以通过一种称为运动诱导孔径采样(motion-induced aperture sampling)的技术用于窥视拐角,从而利用现成硬件实现成本低于100美元的非视距成像。
查看缓存全文
缓存时间: 2026/07/25 04:00
在《自然》杂志上,麻省理工学院媒体实验室的一个研究团队证明,消费级激光雷达——也就是帮助iPhone自动对焦、为Vision Pro提供深度信息、并引导扫地机器人穿越客厅地板的同款传感器——也能让我们实现“隔墙观物”。
“这项工作最令我兴奋的一点是,我们将一项原本需要价值5万美元的专用成像设备才能实现的能力,交到了机器人、AR/VR等领域从业者的手中,”首席研究员@sidartsoma(@cameraculture的博士生)表示,“随着激光雷达越来越普及,我认为这可能会催生全新形式的机器视觉和空间感知。”
阅读更多:https://media.mit.edu/posts/mit-media-lab-researchers-turn-everyday-lidar-into-an-around-the-corner-camera/…
MIT媒体实验室研究人员将日常激光雷达变成转角摄像头 – MIT媒体实验室
来源:https://www.media.mit.edu/posts/mit-media-lab-researchers-turn-everyday-lidar-into-an-around-the-corner-camera/
帮助iPhone自动对焦、为Vision Pro提供深度信息、或引导扫地机器人穿越客厅地板的同款激光雷达传感器,如今还能做出更令人惊讶的事:隔墙观物。
在今日发表于《自然》杂志的一篇论文(https://www.nature.com/articles/s41586-026-10502-x)中,由MIT媒体实验室研究员Siddharth Somasundaram(https://www.media.mit.edu/people/sidsoma/overview/)带领的团队证明,消费级智能手机激光雷达可用于非视距(NLOS)成像。使用成本不到100美元的现成硬件,无需特殊校准,该团队重建了隐藏的3D物体,追踪了移动目标(包括用户的手),甚至利用隐藏物体作为地标来确定相机在空间中的位置。
这一技术突破是一种名为“运动诱导孔径采样”的新技术,其灵感来源于现代成像中的两个常见概念:连拍模式(手机在弱光下使用的快速帧叠加)和合成孔径雷达(将运动转化为分辨率的卫星技术)。该方法将手持设备的自然抖动转化为优势,通过拼接从附近墙壁和地板反射回来的微弱光信号,揭示视线之外隐藏的景象。
“这项工作最令我兴奋的一点是,我们将一项原本需要价值5万美元的专用成像设备才能实现的能力,交到了机器人、AR/VR等领域从业者的手中,”Somasundaram表示。
随着激光雷达越来越普及,我认为这可能会催生全新形式的机器视觉和空间感知。
在此之前,“隔墙观物”一直是专业光学实验室的领域,需要笨重的设备、精心的校准和丰富的专业知识。这项研究指向了一个不同的未来——一种即插即用的能力,并建立在数百万用户已经拥有的硬件之上。潜在应用包括:能够感知盲角障碍物的自动驾驶汽车、即使用户肢体移出视野也能追踪其身体的AR/VR头显、能够在复杂或缺乏纹理空间中更安全导航的机器人,以及尚未被想象的全新消费体验类别。
团队坦承目前存在局限:对反光物体的效果最好,但该方法也能在普通漫反射表面上获得可用信号质量——这为更广泛的现实部署指明了清晰路径。
对行业和消费者而言,这种能力在日常硬件上的到来标志着一个真正的转折点。
二十年前,媒体实验室的研究人员曾设想隔墙观物。
“如今,这一愿景正在消费设备上实现,其影响我们才刚刚开始探索,”MIT媒体实验室执行主任Jessica Rosenworcel表示。
《自然》播客
关于手机如何有一天能够隔墙观物
项目图片
点击此处下载与本项目相关的一组图片(https://www.media.mit.edu/dam/public/images-for-lidar/)。请务必使用所有署名、说明文字和版权信息。
相似文章
@IlirAliu_: 忘掉激光雷达吧。仅需一个摄像头。实时运行且开源:一个流式3D模型,实时重建场景…
LingBot-Map 是一个开源、实时流式3D重建模型,使用单个摄像头,通过前馈几何上下文转换器以约20 FPS运行,性能优于流式和离线方法。
@thesupermanmx: 中国开源了一个模型,可从普通视频实时重建任意场景的3D模型。只需一个摄像头,无需LiDAR。…
中国开源了一个实时3D场景重建模型,无需LiDAR,仅需普通单摄像头视频,在单GPU上实现20 FPS,并在10,000+帧中保持稳定。
我们已经到了无需卷尺的阶段。AI 通过你的相机即可测量。
AI 现在可以利用智能手机摄像头测量距离,许多任务不再需要物理卷尺。
@FinanceYF5: 国内开源了一个模型,随便拍段视频,就能实时重建出3D场景。 一个摄像头,不用LiDAR,1万多帧都不会崩,单卡就能跑到20fps。跑分比传统优化类方法更强,无人机航拍、行车记录、室内漫游都测过。 而且完全开源。
国内开源了一个模型,仅用单摄像头拍摄的视频即可实时重建3D场景,无需LiDAR,单卡运行达20fps,性能优于传统优化方法,并完全开源。
Loupe – 一款提高人们对原生应用可见数据认识的iOS应用
Loupe是一款新的iOS应用,它揭示了原生应用可以访问哪些设备指纹数据,并按访问成本分类,该应用免费且开源。