Cross-domain remote sensing scene classification via Swin Transformer with domain-invariant feature learning

遥感场景分类在各种对地观测任务中至关重要。然而，当图像来自不同传感器或模态时，由于域偏移，其准确性往往会下降。成像机制、传感器特性和数据分布的差异在源域和目标域之间造成了显著的不一致，使得跨域泛化面临挑战。尽管域适应方法在缓解这些不足方面已展现出令人鼓舞的成果，但在多模态数据集中，高效特征分离、传感器异质性和分布不匹配等问题仍未得到解决。为克服上述缺陷，本文提出一种基于Swin Transformer的层级化、上下文感知特征提取框架，用于跨域遥感图像分类。该方法利用Swin Transformer捕获局部与全局空间依赖关系，从而在异构传感器模态间实现更优的域不变特征表示。所提框架在多模态遥感场景分类（MRSSC2.0）数据集上，针对三个具有挑战性的跨域迁移任务进行评估：可见光→短波红外（VIS→SWI）、可见光→红外（VIS→INF）和可见光→合成孔径雷达（VIS→SAR）。为验证所提特征提取方法的有效性，与十种域适应方法进行了全面比较。实验结果表明，当域差异较大时（如VIS→SAR迁移任务），所提框架尤为有效。进一步评估显示，所提特征提取框架在与现有域适应方法结合时表现出良好效果，其中FixBi在VIS→SWI任务上达到96%的准确率，CAN在VIS→INF任务上达到85%的准确率。对于更具挑战性的VIS→SAR迁移任务，所提CMFA方法进一步改善了跨模态特征对齐，将FixBi的整体准确率从70%提升至73%，CAN从60%提升至63%。这些结果证明了所提方法在缩小光学—雷达模态差距的同时，保持稳健跨域分类性能的有效性。