远程单次条纹投影轮廓测量中的形状先验捷径诊断与修复

# 诊断与修复远程单帧条纹投影轮廓术中的形状先验捷径  
**来源：** https://arxiv.org/html/2606.17093  

\credit 概念化、方法论、软件、验证、形式分析、调研、初稿撰写、审阅与编辑、可视化、项目管理  
\credit 数据整理、审阅与编辑  
\credit 指导、资源、审阅与编辑  
\cormark [1]\credit 指导、审阅与编辑  

1] 机构：爱荷华州立大学机械工程系，地址：2529 Union Drive，城市：埃姆斯，邮编：50011，州：爱荷华，国家：美国  
2] 机构：佐治亚大学工程学院，地址：597 D. W. Brooks Drive，城市：雅典，邮编：30602，州：佐治亚，国家：美国  

\cortext [1] 通讯作者  
Anush [email protected]  
Cody [email protected]  
Beiwen [email protected]  

---

###### 摘要  

基于学习的单帧条纹投影轮廓术（FPP）主要在近程场景（内窥镜、桌面和高速动态环境）中研究，这些场景中条纹对比度和三角测量几何条件较为有利。远程场景（工作距离超过1米）由于三个耦合原因而基本未被解决：光强的平方反比衰减降低了条纹信噪比，并在此距离下削弱了物理真值的可靠性；单帧公式本质上是不适定的，因为单张图像无法提供条纹级次信息；此外，该领域使用的网络架构尚未进行机理研究，导致误差诊断缺乏原则性指导。我们通过一项统一的“诊断-修复-验证”研究来填补这些空白，并以机械可解释性（MI）和共形不确定性量化（UQ）作为诊断工具。在方法论上，MI和UQ作为收敛性诊断手段使用，它们对单一物理失效点的共识驱动并随后验证了一项架构修复——这是一种用于物理约束学习的“诊断-修复-验证”模板，我们在此将其应用于远程单帧FPP。在逼真的合成基准（15,600张条纹图像，50个物体，工作距离1.5–2.1米）上进行的系统消融实验确定了最佳UNet基线，其物体平均绝对误差（MAE）为14.54毫米。三种机械探针（线性探针、Grad-CAM、范围内平面分布外测试）收敛于同一结论：基线是通过物体边界的形状先验而非条纹相位解码来解决任务的。我们通过PhiCalNet在架构层面修复了这一问题，其关键设计选择是输出包裹相位表示而非深度，并在输出端使用一个固定的可微分标定层将相位映射到深度。因此，形状先验解在架构层面被从假设空间中移除，而非通过损失惩罚来抑制。一个物理信息损失基线，通过软惩罚在深度回归网络上强制执行相同的物理约束，未产生可衡量的增益，从而将架构选择隔离为关键因素。PhiCalNet将物体MAE降低了3.3倍，达到4.46毫米；残余误差由0.103%的像素在±π包裹不连续处贡献，这是连续回归不连续目标的结构性限制。对PhiCalNet应用相同的MI测试组，结果反转了UNet的剖面；同时，逐像素共形不确定性量化从外部确认了诊断结果：按快照不一致性拒绝前5%的物体像素，使PhiCalNet的均方根误差（RMSE）降低了64%（从20.6毫米降至7.4毫米），而基线仅降低3.5%。MI和UQ收敛于同一失效点。  

###### 关键词  
条纹投影轮廓术 · 远程结构光 · 单帧重建 · 机器学习 · 合成数据 · 深度学习 · 3D重建 · NVIDIA Isaac Sim · 基准测试 · 相位中间架构 · 机械可解释性 · 不确定性量化 · 共形预测  

---

## 1 引言  

条纹投影轮廓术（FPP）是一种非接触式密集3D测量技术，能够达到亚毫米精度。因此，它已广泛应用于需要高精度计量的领域，包括表面检测（qian2021high; deng2016three）、机器人扫描（haroon2024autonomous; wang2024robotic）和制造过程控制（zhang2023machine; zhang2022systematic）。这种精度的关键组成部分是多步相移采集（zhang2016high; geng2011structured），其中投射多个相移条纹图案并通过分析组合以恢复深度。虽然多步采集是该方法测量保真度的原因，但它要求场景、相机-投影仪几何结构和照明在整个序列中保持稳定，从而将传统FPP局限于受控的桌面设置。因此，机器学习和深度学习的最新进展推动了*单帧*重建，即从一张条纹图像而非相移序列中恢复深度（zuo2022deep; van2019deep; nguyen2020single; wang2021single; ikeda2025deep; li2025deep; zhu2022hformer; balasubramaniam2023single; wang2025end），这解除了上述约束，使得在非平稳条件下（如移动物体、传感器位置扰动或可变照明）实现实时测量成为可能。然而，活跃的深度学习单帧文献几乎完全集中于工作距离低于1米的近程场景，其中内窥镜（zuo2025deep）和桌面（wang2021single）设置是典型代表。为了将FPP从受控实验室环境扩展到非平稳性固有的真实世界部署——例如检测太大而无法放入扫描仪的物体、扫描需要更宽视场的场景，或测量传感器无法物理接近的目标——远程能力变得必不可少。  

##### 然而，远程是难度高出数个数量级的场景。  
当前方法所运行的近程场景涵盖了狭窄的几何范围：工作距离低于100毫米的内窥镜和显微系统、300–800毫米的桌面系统，以及利用相同近程几何来跟踪运动的高速动态测量。Wang等人的图形增强SSSR-FPP（wang2021single）、Nguyen等人的结构光DCNN（nguyen2020single）、Van der Jeught和Dirckx的单帧SLP（van2019deep）、Ikeda等人的彩色条纹方法（ikeda2025deep）、Li等人的内移相位编码（li2025deep）、Zhu等人的Hformer（zhu2022hformer），以及Balasubramaniam和Li的数据存储测量（balasubramaniam2023single）均针对这一近程场景。在远程，物理特性发生了质的变化。结构光信噪比以1/r²衰减，条纹对比度随投射图案扩散而下降，固定基线下深度分辨率随距离平方恶化。光的这一特性使得获取可靠的物理真值变得困难。同样的物理特性也产生了条纹级次模糊，其引发的深度误差在工作距离下按Z²缩放；第4.2节形式化了这两个后果，并指出了为什么单帧条纹到深度的映射在远程比近程更严重地不适定。  

##### 远程的物理真值本身就是一个未解决的问题。  
在工作距离>1米处获取准确的物理真值之所以困难，原因独立于任何学习方法。在这些距离上的参考测量通常需要三坐标测量机或地面激光扫描仪，它们本身具有毫米级的不确定性，并且将这些测量结果以亚毫米精度配准到相机坐标系并非易事。因此，该场景直接导致数据匮乏。一个经过验证的合成管线可以规避这一问题。VIRTUS-FPP（HaroonVIRTUS2025）展示了在NVIDIA Isaac Sim中的逼真虚拟FPP框架，其条纹对比度、相位展开行为和深度重建精度均已通过与物理测量的对比得到验证；在此验证框架上构建基准，使得ML训练所需的大规模远程真值变得可行。因此，该场景的新颖性和物理真值的困难性是耦合的：模拟器是使该场景变得可及的方法论步骤。  

##### 缺乏共享基准或评估惯例。  
除了远程缺口之外，单帧机器学习FPP作为一个整体，缺乏主流计算机视觉所依赖的共享基础设施（deng2009imagenet; lin2014microsoft）。在文献中，归一化惯例（feng2021calibration; ikeda2025deep; nguyen2020single）、损失函数（wang2025end; ikeda2025deep; li2025deep; wang2021single; zhu2022hformer）、评估区域和聚合指标均各不相同，因此跨研究比较不可靠。先前的合成数据工作（zheng2020fringe; ueda2021fringe; zhang2023measurement）展示了逼真的FPP模拟，但未发布生成的数据集，限制了其作为共享基准的效用。Evans等人（evans2024benchmark）最近的单帧结构光基准提供了一个开放的真实数据集，但仅针对带有随机表面变化的标定靶，而非包含多种自遮挡几何形状的物体。因此，目前尚无单帧FPP的开源逼真合成基准可用，且现有数据集均未覆盖远程工作距离下包含多种自遮挡几何形状的物体。关于归一化、损失、掩膜和训练集组成的明确报告惯例同样缺失。  

##### 解释性缺口。  
在单帧文献中，方法以逐像素回归方式进行端到端训练，并且仅在聚合重建误差上进行评估（zuo2022deep; ikeda2025deep; nguyen2020single; wang2021single）。这留下了未回答的问题：它们是从条纹图案的相位结构恢复深度，还是从恰好与训练分布中的深度相关的物体级形状线索中恢复深度？这就是Geirhos等人的捷径学习假设（geirhos2020shortcut），而在计量学中，它直接产生后果：一个基于形状先验的网络将无法泛化到新的几何形状，即使聚合误差看起来有竞争力，也无法替代基于相位的重建。单帧网络在远程遇到的残余误差可能反映了这一表示问题，而非容量或数据稀缺问题，但该问题尚未通过机理分析得到裁决。  

##### 本文。  
我们通过一项统一的“诊断-修复-验证”研究来解决这些空白，并以机械可解释性（MI）和共形不确定性量化（UQ）作为整个过程中的诊断工具。FPP-ML-Bench（haroon2026fppml）基于VIRTUS-FPP框架构建：包含15,600张条纹图像、300个深度重建、50个物体，工作距离1.5–2.1米，并采用标准化的物体/背景/整体评估协议——我们将证明，该协议可使报告的仅物体误差变化近一个数量级。在该基准上进行的系统消融实验隔离了控制单帧FPP性能的设计选择：个体深度归一化将物体MAE相对于原始深度提升了9.1倍；移除背景条纹使性能下降2.8–7.3倍（背景条纹是信号而非噪声）；使用单一方向的相移帧进行同质多帧训练可将物体MAE提高20–24%，而混合方向则降低性能；混合L1（α=0.7）最优；UNet性能优于TransUNet达29%、优于ResUNet达60%、优于Pix2Pix达91%。架构间1.9倍的性能差异以及14.54毫米的残余误差（占80毫米物体深度范围的18%）指向一个表示限制而非模型容量限制。三种机械探针（线性探针、Grad-CAM和范围内平面分布外测试）——据我们所知，这是机械可解释性首次应用于FPP——收敛于相同的诊断结论：最佳UNet基线是通过物体边界的形状先验而非条纹图案的相位结构来解决任务的。增加数据或更大的模型无法缩小差距，因为它们不会改变优化器搜索的假设空间。  

我们通过*PhiCalNet*在架构层面修复了这一问题。关键设计选择不在于标定计算本身（每个相位中间FPP网络在其管线的某处都有经典的三角测量标定），而在于一个特定的架构框架：网络的输出是包裹相位（sin φ, cos φ）而非深度，并且从该输出到重建深度的唯一路径经过一个固定的可微分标定层，该层确定性地应用FPP三角测量物理。因此，深度回归网络可用的形状先验解在架构层面被从假设空间中移除，而非通过损失惩罚来抑制，因为网络从未将深度作为直接学习的量来产生。一个物理信息神经网络（PINN）基线，在无约束的深度回归网络上通过软惩罚强制执行相同的物理约束，在λ扫描中未产生可衡量的增益，从而将架构选择与损失层面选择隔离为关键因素。PhiCalNet将单帧物体MAE相对于UNet基线降低了3.3倍（4.46毫米对比14.54毫米）；三帧扩展将其进一步降低至1.16毫米，并且条纹级次灵敏度扫描表明，oracle-k假设是一个方便的公式化约定，而非严格的部署要求。除了本文报告的标题性单帧仅相位配置之外，标定层的可微性激活了一条深度监督梯度路径，该路径从深度输出反向通过标定层进入可学习的主干网络，从而开启了该设计的一系列自然联合学习扩展（联合标定学习、异方差深度似然、多分辨率深度损失、绝对尺度深度监督），我们在结论中对此进行概述。  

我们从两个独立角度验证了修复效果。对PhiCalNet应用相同的MI测试组，结果反转了UNet的剖面：相位成为最可解码的内部特征（深度没有明确的内部表示，与标定层承载几何变换一致）；在相同训练权重上进行的双模式Grad-CAM分析显示，在驱动相位输出的层中，条纹偏好的注意力占主导，而边缘偏好在梯度流经标定层时才会出现；平面测试恢复了一个具有正确正交偏移的相干(sin φ, cos φ)场。逐像素共形不确定性量化——使用快照集成（据我们所知，这是共形预测首次应用于FPP，也是首次更广泛地应用于逐像素深度回归（angelopoulos2023conformal））——从外部确认了诊断结果：根据快照标准差拒绝前5%的物体像素，使PhiCalNet的RMSE降低了64%（从20.6毫米降至7.4毫米），而UNet基线的RMSE仅降低3.5%（从28.4毫米降至27.4毫米）。MI和UQ收敛于同一失效群体。与之前联合MI和UQ分析所处理的模糊语言或医学领域相比，FPP使这一收敛性测试更具诊断性：网络的失效模式具有单一的物理原因，即π包裹不连续处，并且MI和UQ独立地指向同一像素子集。