A lightweight hybrid network with inverted residuals and state space model for remote sensing image segmentation
Qixuan Tang · Ming Zhang · Liuye Yu 等 5 人
提出IRUM-Net混合网络，结合Mamba与CNN实现遥感图像轻量高精度语义分割。
倒残差块编码器+多尺度局部全局Mamba解码器+门控增强融合，在Vaihinge
Vaihingen达81.9% mIoU、92.2% OA，Potsdam达84.5% mIoU、9
可将该轻量混合架构迁移至农田遥感分割，探索多时相作物表型与边缘部署的精度-效率平衡。
提出融合Mamba与CNN的轻量遥感分割网络，参数少精度高，对农业遥感监测有参考价值，但属方法类论文，产业影响有限。
在当前的语义分割研究中，大多数研究主要集中于利用传统卷积神经网络（CNN）和基于Transformer的架构。然而，由于CNN的感受野局限于局部区域，其在捕获长程依赖关系和准确建模全局上下文信息方面存在局限。尽管Transformer能够通过自注意力机制有效实现全局上下文建模，克服局部感受野的限制，但其不可避免地引入了随输入尺寸呈二次方增长的计算负担。近年来，基于状态空间模型（SSM）的Mamba因其在保持低计算复杂度的同时具备强大的全局上下文捕获能力而受到越来越多的关注。然而，在遥感图像分割领域，现有的基于Mamba的网络架构很少能在建模长程依赖关系与提取细粒度局部特征之间取得平衡。因此，本文提出了IRUM-Net，一种融合Mamba和CNN的新型混合架构，用于遥感图像的语义分割。具体而言，IRUM-Net的编码器采用倒残差块（IR Block）作为基本构建单元，旨在以低计算成本提取丰富的图像特征。随后，我们提出了一种名为多尺度局部与全局Mamba模块（MLGM）的解码器模块。该混合模块有效结合了Mamba和CNN，能够同时建模全局上下文依赖关系和多尺度局部空间细节。同时，设计了门控增强融合（GEF）模块。它能够通过门控机制将前一解码器的输出与编码器跳跃连接中同一阶段的对应特征图进行连接和融合。该过程产生了富含多层级信息的精细化特征表示，随后被送入后续解码阶段。我们在Vaihingen和Potsdam两个公开数据集上进行了大量实验，在Vaihingen数据集上达到了81.9%的mIoU和92.2%的OA，在Potsdam数据集上达到了84.5%的mIoU和94.2%的OA。此外，整个网络仅有1.98M参数和6.53G浮点运算量。实验表明，所提出的IRUM-Net在保持低计算开销的同时优于大多数语义分割网络，实现了优异的分割精度。