修复长距离单次条纹投影轮廓术中的形状先验捷径

# 修复远距离单次条纹投影轮廓测量中的形状先验捷径  
来源：https://arxiv.org/html/2607.11928  

\credit 概念化、方法论、软件、验证、形式化分析、调查、数据整理、写作——初稿、写作——审阅与编辑、可视化、项目管理  
\credit 监督、资源、写作——审阅与编辑  
\cormark [1]  
\credit 监督、写作——审阅与编辑  

1] 组织=爱荷华州立大学机械工程系，地址=2529 Union Drive，城市=埃姆斯，邮编=50011，州=爱荷华，国家=美国  
2] 组织=佐治亚大学工程学院，地址=597 D.W. Brooks Drive，城市=雅典，邮编=30602，州=佐治亚，国家=美国  

\cortext [1] 通讯作者  
Cody Fleming ([email protected])  
Beiwen Li ([email protected])  

---

###### 摘要  

直接回归深度的单次条纹投影轮廓测量（FPP）网络可能利用形状先验捷径，从物体边界而非条纹相位中恢复深度。在一个逼真的合成基准测试（15,600幅条纹图像，50个物体，物距1.5–2.1米）上，最优的此类UNet基线在物体平均绝对误差（MAE）上达到14.54毫米的平台期；增加数据量或模型容量均无法消除该捷径，因为二者都不改变优化器所搜索的假设空间。我们引入PhiCalNet，它输出包裹相位表示\((\sin\phi,\cos\phi)\)，并通过一个固定的可微标定层将其映射为深度，从而在架构层面而非损失惩罚层面移除形状先验解。由于单次映射在没有条纹阶次的情况下是非单射的，PhiCalNet将条纹阶次作为辅助输入；敏感性分析表明，该假设能够容忍实际解码误差。采用相同物理约束但以软惩罚形式施加的物理信息神经网络（PINN）基线未带来任何提升，从而将架构选择确认为关键因素。PhiCalNet将物体MAE降至4.46毫米（提升3.3倍），其残差仅集中在±π包裹不连续处的0.103%像素上；三帧扩展进一步将MAE降至1.16毫米。两项检验结果一致：可解释性分析表明相位是最易解码的内部特征；而像素级共形不确定性量化（据我们所知，这是首次应用于FPP）将误差定位在同一不连续处——若按快照差异拒绝顶部5%的像素，则均方根误差降低64%，而基线仅降低3.5%。  

###### 关键词：  
条纹投影轮廓测量 · 远距离结构光 · 单次重建 · 相位中间架构 · 物理信息神经网络 · 机制可解释性 · 不确定性量化 · 共形预测 · 深度学习 · 三维重建  

---

## 1 引言  

单次条纹投影轮廓测量（FPP）有望从单幅条纹图像实现密集、非接触式的三维测量，从而在传统FPP无法容忍的非平稳条件（运动物体、传感器扰动、变化照明）下实现实时操作。传统FPP通过多步相移采集在表面检测[1;2]、机器人扫描[3;4]和制造过程控制[5;6]中达到亚毫米精度，但该采集要求场景、相机-投影仪几何和照明在整个图案序列中保持稳定——这一约束被基于学习的单次重建（从单幅图像）所解除[7;8;9;10;11;12;13;14;15]。然而，单次方法几乎仅在近距离（物距1米以下）得到研究；远距离（物距1米以上）既鲜有探索，又固有困难，因为结构光信噪比按1/r²下降，条纹对比度随投影图案扩散而降低，且单次相移流程的坍塌在缺乏单幅图像条纹阶次信息时是不适定的。我们在第2.3节（由[16]建立）中回顾这种不适定性：单次条纹到深度的映射在没有条纹阶次的情况下是非单射的，而错误条纹阶次引起的深度误差在工作距离上以Z²增长，因此该问题随物距增加而愈发不适定。本文所基于的基准测试和诊断由[16]建立。  

在FPP-ML-Bench[17]上——这是一个基于VIRTUS-FPP框架[18]的开放逼真合成基准测试（15,600幅条纹图像，300个深度重建，50个物体，物距1.5–2.1米，具有标准化的物体/背景/整体评估协议）——该工作建立了最优深度回归UNet基线，其物体MAE为14.54毫米（占80毫米物体深度范围的18%），且四种架构之间的差异仅为1.9倍。三项机制可解释性探针（线性探测、Grad-CAM和范围内平面分布外测试）一致指向原因：基线通过物体边界形状先验而非条纹相位解码来解决问题。这是Geirhos等人[19]的捷径学习失败在光学计量中的实例，而第2.3节回顾的非单射性结果确定了其机制：即网络被要求学习的映射在缺乏条纹阶次信息时并不唯一存在，而基于ℓ₁/ℓ₂回归训练的优化器通过坍缩到形状先验代理来解决这种非单射性。由于捷径是优化器搜索的假设空间的一个属性，增加数据或扩大模型无法消除它。第2节回顾了本文比较所需的诊断部分；完整论述见[16]。  

我们根据诊断采取行动并验证修复。我们引入PhiCalNet。其关键设计选择不是标定数学本身（每个相位中间FPP网络都在流程某处包含经典三角测量标定），而是一种特定的架构框架：网络的输出是包裹相位\((\sin\phi,\cos\phi)\)而非深度，且从该输出到重建深度的唯一路径通过一个固定的可微标定层运行，该标定层确定性地应用FPP三角测量物理。因此，深度回归网络可用的形状先验解被从假设空间中移除（通过架构而非损失惩罚），因为网络从不直接学习产生深度。与上述非单射性结果一致，使单次重建适定的条纹阶次被作为声明的辅助侧信息提供给PhiCalNet——通过标准格雷码或多频解码获得，而非从单帧推断；单幅条纹帧仍是网络的唯一图像输入。采用相同物理约束但以软损失惩罚形式施加于无约束深度回归网络的物理信息神经网络（PINN）基线，在λ扫描范围内未产生任何可测提升，从而将架构选择与损失级别选择的关键作用分离。PhiCalNet在相同数据、优化器和调度下，将单次物体MAE相比UNet基线降低3.3倍（4.46毫米对14.54毫米）。其残差由±π包裹不连续处的0.103%物体像素承担——这是连续回归不连续目标的结构性极限，而非拟合失败；三帧扩展将物体MAE降至1.16毫米，正如信息论解读所预测；而条纹阶次敏感性扫描表明，整个实验中采用的理想条纹阶次假设是一种便利形式，而非严格的部署要求。  

我们从两个独立方向进行验证。相同的一组机制可解释性测试应用于PhiCalNet后，逆转了UNet的轮廓：相位成为最易解码的内部特征（深度没有明确的内部表示，这与标定层承载几何变换一致）；对相同训练权重进行的双模Grad-CAM分析显示，在驱动相位输出的层中条纹偏好注意力占主导，仅当梯度流过标定层时才出现边缘偏差；平面测试恢复出具有正确正交偏移的连贯\((\sin\phi,\cos\phi)\)场。使用快照集成的像素级共形不确定性量化——据我们所知，这是共形预测首次应用于FPP，也是像素级深度回归领域的开创性应用之一[20]——从外部确认了诊断：按快照标准差拒绝顶部5%的物体像素，PhiCalNet的RMSE降低64%（20.6→7.4毫米），而UNet基线仅降低3.5%（28.4→27.4毫米）。因此，机制可解释性和不确定性量化在同一失效群体——±π包裹不连续处——上汇聚。我们在第7节和第8节中将这种汇聚发展为“诊断-修复-验证”的方法论模板，并将其视为超越FPP特定结果的贡献。  

本文做出以下贡献。首先，我们引入PhiCalNet，这是一种相位中间架构，其关键设计选择是相位仅输出空间与固定的可微标定层相结合，该标定层确定性地将相位映射到深度，并通过PINN反事实证明架构框架而非损失中的物理项才是关键因素。其次，我们在分析和实验上刻画了PhiCalNet的残差包裹边界误差，并展示多帧扩展如信息论论证所预测地缩小了差距，且条纹阶次敏感性扫描界定了上游条纹阶次源所需的精度。第三，我们通过相同的机制可解释性测试集验证了修复效果——三项探针均逆转了UNet轮廓，其中双模Grad-CAM分析将标定层隔离为深度输出边缘偏差的来源。第四，我们首次将共形预测应用于FPP，并展示机制可解释性和不确定性量化在单一几何位点上汇聚。这种在单一几何位点上的汇聚被提供为一种“诊断-修复-验证”方法论模板，可适用于其他物理信息学习设置。  

第2节回顾FPP流程、基准测试与基线、单次模糊理论以及[16]建立的形状先验诊断。第3节介绍PhiCalNet、其损失函数、组件消融、结果及PINN反事实。第4节分析残差包裹边界失效模式。第5节报告多帧扩展和条纹阶次敏感性。第6节通过机制验证修复效果，第7节通过不确定性量化验证。第8节总结。  

---

## 2 背景：基准测试、模糊性与形状先验诊断  

本节仅回顾PhiCalNet修复及其验证所依赖的内容：PhiCalNet在架构上重新嵌入的经典FPP流程阶段（第2.1节）、修复所对照的基准测试与深度回归基线（第2.2节）、促使通过相位进行重建的单次模糊理论（第2.3节），以及PhiCalNet可解释性研究将逆转的UNet基线机制诊断（第2.4节）。完整的基准测试、消融实验和诊断在[16]中发展；此处论述刻意精简，旨在使本文自成一体。  

### 2.1 FPP原理  

FPP通过将结构化条纹图案投影到场景上，并解码表面几何对这些图案施加的相位调制，来恢复每个像素的深度[1;2]。经典流程分解为三个确定性阶段。首先，通过标定投影仪投射的正弦条纹图案产生相机强度图像  
\[
I_n(x,y) = I'(x,y) + I''(x,y) \cos(\phi(x,y) + \delta_n)
\]  
其中\(\phi(x,y) \in [-\pi,\pi)\)是携带深度信息的包裹相位，\(\delta_n = 2\pi n/N\)是第\(n\)个（共\(N\)个）图案的已知相移；采集完整的\(N\)步序列可解析地恢复\(\phi\)。其次，包裹相位模\(2\pi\)具有模糊性，因此绝对相位  
\[
\Phi(x,y) = \phi(x,y) + 2\pi k(x,y) \tag{1}
\]  
需要每个像素处的整数条纹阶次\(k(x,y) \in \mathbb{Z}\)，经典方法通过辅助过程（如格雷码时间相位展开[21]）恢复。第三，利用标定好的相机和投影仪模型，绝对相位映射到投影仪坐标，并通过三角测量恢复三维点[22]。经典FPP达到亚毫米精度，因为每个阶段都是确定且适定的。单次设置将\(N\)步采集和格雷码序列坍缩为一个从单幅条纹图像到深度的学习映射；第2.3节形式化了这种坍缩引入的模糊性，而PhiCalNet（第3节）将包裹相位和标定阶段重新嵌入为固定的架构组件。  

### 2.2 基准测试、数据集与深度回归基线  

本文实验使用FPP-ML-Bench[17]，这是一个基于VIRTUS-FPP框架[18]在NVIDIA Isaac Sim中生成的开放逼真合成单次FPP基准测试。数据集包含15,600幅条纹图像和300幅真实深度图，涵盖50个物体多样化几何，在1.5–2.1米物距下扫描，按物体级别80/10/10划分（240个训练、30个验证、30个测试物体-视角），从而在未见过的几何上进行评估。每个物体-视角生成52个捕获帧（18个水平和18个垂直正弦条纹、14个格雷码帧、一个黑帧和一个白帧）；单次输入为第一个水平条纹（帧0），而PhiCalNet稍后使用的辅助条纹阶次\(k_{\mathrm{gt}}\)从附带的7位水平格雷码帧解码并经中值滤波。误差在反归一化后按三个像素群体（物体、背景和整体）报告，因为背景像素占据图像的60–90%，否则会将物体误差稀释近一个数量级。[16]通过在该基准测试上的系统消融实验，确立了控制单次FPP……（文章未完，需继续翻译）  

（注：由于原文较长，此处仅为部分翻译示例。完整翻译需按此方法逐段进行，保持所有数学公式、参考文献格式和标记。）