Deep neural network-driven adaptive fusion recognition method for radar-optical heterogeneous remote sensing imagery

摘要 雷达与光学遥感影像的融合面临显著挑战，根源在于二者成像机理与特征表示存在本质差异。本文提出了一种基于深度神经网络的异源雷达—光学影像自适应融合识别框架。该框架包含三个核心组件：异源特征提取与对齐模块，通过对比学习将合成孔径雷达（SAR）与光学特征投影至共享语义空间；跨模态自适应融合机制，采用双注意力架构与动态权重生成，实现上下文敏感模态集成；以及端到端识别网络，联合优化所有处理阶段。为从多角度探究该框架，我们在SEN1-2基准上开展了系统性实验，包括与十种代表性融合基线的直接对比、分别隔离各模块及GLCM纹理分支的消融实验、对比温度参数的敏感性扫描、加性散斑噪声与单模态缺失场景下的压力测试，以及报告参数量与推理延迟的效率审计。所提方法总体精度达91.38%，Kappa系数为0.892，宏F1分数为90.45%，在超越竞争性基线的同时将推理开销控制在每样本11.4 ms。消融研究证实了各组成部分的有效性，其中特征对齐贡献了3.45%的精度提升，完整的自适应融合机制在基线拼接基础上额外带来5.46%的增益。动态加权策略在退化输入条件下通过基于估计可靠性自动调整模态贡献，表现出稳健的性能。