MMC-Net: Mamba-based multi-level class-aware network for panchromatic and multispectral fusion classification

方法

双路径空间-光谱Mamba、特征重建与融合Mamba，多分支类别感知分类。

发现

在三个PAN-MS和一个HSI-LiDAR数据集上达到最优，且跨模态泛化稳健。

机会点

可将该Mamba融合框架迁移至农业多源遥感（如无人机多光谱与全色）作物精细分类与长势监测。

遥感（RS）技术的最新进展改善了全色（PAN）和多光谱（MS）数据的获取能力，但多源融合分类仍面临挑战，主要源于非冗余特征提取（即在有效保留互补信息的同时抑制源特定冗余）和跨源对齐（即准确匹配PAN与MS数据之间的空间—光谱对应关系）方面的局限。新兴的基于状态空间模型（SSM）的Mamba模型凭借其全局建模能力和线性复杂度，在复杂土地覆盖分类任务中展现出潜力。为此，我们提出MMC-Net，一种新颖的基于Mamba的多级类别感知网络，用于PAN与MS融合分类，该网络集成了渐进式融合特征学习（PFFL）模块和多分支类别感知分类（MBCAC）模块。PFFL模块采用双路径空间—光谱Mamba（S²Mamba）提取判别性特征，并通过特征重建模块（FRM）抑制冗余，同时利用融合Mamba（FMamba）通过通道交换和融合SSM实现跨源交互。MBCAC模块通过空间softmax和多分支学习增强分类多样性，其跨层级参数共享机制能够捕获层次化判别模式。在三个PAN-MS数据集和一个HSI-LiDAR数据集上的验证表明，MMC-Net达到了最先进的性能，并在异构模态间展现出稳健的、与源无关的泛化能力。代码可在https://github.com/Xidian-AIGroup190726/MMCNet获取。