Spectral 3D computer vision: A survey of acquisition, representations, learning, and applications

方法

结构化文献综述，按三类方法主题梳理采集、标定、重建、学习与数据集。

发现

光谱信息可补充材质与可见性线索，但增益依赖任务且常未隔离光谱贡献。

机会点

可构建农业场景原生光谱三维基准，开展不确定性感知融合与跨传感器泛化研究。

光谱三维计算机视觉将波长分辨测量与几何信息相结合，以支持材质感知重建、感知与场景分析。然而，现有文献分散于高光谱与多光谱传感、跨光谱深度与位姿估计、光谱点云、激光雷达—高光谱融合以及神经场景表示等方向。本综述对该领域进行了结构化梳理，涵盖光谱与几何采集、数据表示、标定与配准、光谱三维重建、集成光谱三维采集与联合物理建模、基于学习的方法、下游任务、基准数据集、应用及软件工具。我们将现有方法组织为三个互补的方法论主题：光谱对三维信息估计的支持、光谱三维重建与建图，以及集成光谱三维采集与联合物理建模。我们进一步比较了代表性数据集以及在分类、回归、分割、语义场景分析和光谱新视角合成方面的已报告结果。分析表明，当仅凭RGB外观或几何信息不足时，光谱信息能够提供互补的材质、状态和可见性线索；然而，收益幅度取决于任务与基线，许多已报告的增益未能将光谱贡献与传感、架构、空间上下文或融合方面的同步变化相分离。进展仍受限于原生光谱三维基准的缺乏、辐射与几何标定的不一致、评估协议的不统一，以及跨传感器与跨域验证的不足。最后，我们指出了在标准化基准测试、不确定性感知融合、物理基础学习、高效光谱三维表示以及跨传感器、环境和应用领域的泛化等方面的研究优先方向。