A physics-constrained superpixel-based multi-source remote sensing spatiotemporal fusion network
Qinyu Zhao · Luyan Ji · Qingxue Wang 等 6 人
提出SPP-STF网络,用物理约束与超像素实现多源遥感时空融合。
超像素交叉注意力Transformer、边缘门控模块与各向异性高斯PSF退化一致
在三个数据集上多项指标最优,物理正则带来一致且更合理的提升。
可将PSF物理约束融合框架迁移到农田异构地块的时序高分辨监测,并探索轻量化部署。
方法新颖、指标扎实的遥感时空融合论文,与农业遥感监测应用相关,但属细分方法进展,公共影响有限。
遥感时空融合旨在生成兼具高空间分辨率与高时间分辨率的图像序列。然而,许多深度学习方法将融合视为黑箱回归问题,忽略了传感器成像物理特性的差异——如点扩散函数(PSF)和像元面积积分——这往往导致边界模糊、光谱混合,甚至在地表异质区域产生物理上不合理的高频细节。此外,这些方法通常依赖同一时刻的成对粗/细分辨率参考图像,限制了数据可用性。为解决上述问题,我们提出SPP-STF,一种基于超像素的融合网络,采用物理引导的退化一致性正则化器进行训练,仅需一幅参考细分辨率图像和目标粗分辨率观测,同时导出边缘强度图作为结构先验。模型采用U-Net风格的三分支编码器–解码器,在多尺度上融合纹理、时间变化和边缘线索。EdgeResBlock利用高频门控锐化边界并减少跨类泄漏,超像素交叉注意力Transformer学习对象级对应关系,以缓解混合像元引起的配准误差。训练中,我们引入基于可学习各向异性高斯PSF的退化一致性项:预测的细分辨率输出经模糊和面积积分下采样以匹配观测到的粗图像,该项与重建损失联合优化。定量上,SPP-STF在CIA上取得最佳RMSE、SAM、PSNR和UIQI(0.0254、0.1522、31.9330 dB和0.8451),在LGC上六项指标均取得最佳结果(包括RMSE 0.0188和PSNR 34.6307 dB),在Tianjin上取得最佳RMSE、SSIM、SAM、PSNR和ERGAS(0.0410、0.7640、0.2459、27.8666 dB和30.4838)。消融研究证实了超像素模块与边缘模块的互补优势。PSF项在此被解释为训练时的正则化器,在三个数据集上提供一致且物理上更合理的改进。结构化剪枝进一步表明,模型在大幅压缩下仍能保留空间结构,而光谱保真度在剪枝超过约70%后变得明显敏感。