Dual-branch multimodal scale-interaction transformer for semi-supervised HSI-SAR classification

深度学习显著推动了高光谱图像（HSI）与合成孔径雷达（SAR）联合分类的发展，取得了颇具前景的地物覆盖制图性能。然而，现有大多数方法严重依赖密集的像素级标注，而在实际多模态遥感应用中获取此类标注成本高昂且耗时。本文提出了一种新颖的半监督框架，称为双分支多模态尺度交互Transformer（DMSIT），用于标注样本有限条件下的HSI-SAR联合分类。具体而言，所提出的DMSIT首先采用双流卷积编码器，并结合跨模态特征分离（CMFS）模块。CMFS模块显式地将模态共享的分类特征与样本特定的私有表示解耦，从而有效减少跨模态特征干扰。随后，分离出的共享特征被转换为标记序列，并由多模态尺度交互Transformer（MSIT）处理。通过执行尺度感知注意力，MSIT捕获全局跨模态依赖关系并自适应地整合互补的多模态特征，从而弥补局部卷积有限感受野的不足。此外，为利用无标注数据，我们引入了一种图引导伪标签（GGPL）策略。通过利用图拓扑邻近性而非孤立的预测置信度，GGPL选择可靠的伪标签，有效缓解类别不平衡并抑制误差累积。在三个数据集上的大量实验表明，与若干最先进方法相比，所提出的DMSIT具有有效性和优越性。