SAF-CropNet: Spatially adaptive fusion of SAR and optical imagery for semantic segmentation in operational cropland mapping across regions
minghui chang · Shuaifeng Peng · Tao Xu 等 12 人
提出SAF-CropNet,用空间自适应融合SAR与光学影像做跨区域耕地语义分割。
双分支编码器提取SAR结构/光学纹理特征,结合互模态调制与状态空间建模,在七区域
区域内F1达0.8550且轻量;零样本迁移F1仅0.4986,少样本适配可升至0.7698。
复合域偏移下零样本泛化差,可研究跨传感器、跨区域的无监督域自适应融合分割方法。
提出空间自适应SAR-光学融合分割框架,跨七区域基准验证,兼顾精度与轻量化,对耕地遥感制图有实质方法贡献。
从遥感影像中准确提取耕地信息对农业监测、粮食安全评估和土地资源管理至关重要。尽管光学与合成孔径雷达(SAR)观测为耕地提取提供了互补信息,但其局部贡献会随成像条件、地表覆盖背景、地块形态和区域农业系统的不同而变化。这种变异性限制了直接拼接和静态融合的效果,因为在缺乏空间自适应加权的情况下,模态特有的误差可能传播至分割输出中。本研究提出SAF-CropNet,一种用于二分类耕地语义分割的空间自适应SAR–光学融合框架。具体而言,SAF-CropNet首先通过独立的编码器分支提取模态特有的SAR结构特征和光学光谱-纹理特征。成对互反模态间选择性调制器增强SAR与光学之间的互补交互,而上下文状态空间建模模块则捕获长距离地块组织信息。随后,空间自适应融合头在解码前估计SAR、光学和上下文特征的逐像素贡献权重。评估在一个涵盖中国、德国和法国的七区域SAR–光学基准上进行。该基准整合了GF1/GF3和Sentinel-1/2影像,参考标签来源于实地调查和RapidCrops产品,覆盖破碎化小农系统、富水与城郊镶嵌景观以及大规模机械化耕地。区域内五折验证表明,SAF-CropNet平均F1分数达到0.8550,mIoU为0.8068,优于所评估的分割基线,同时保持轻量级,对于256 × 256的SAR–光学输入仅需3.38 M参数和6.21 GFLOPs。在留一区域迁移实验中,分层少样本自适应将平均F1分数从零样本迁移下的0.4986提升至0.7698。分组跨大陆和跨传感器实验进一步表明,在传感器特性、空间分辨率、景观结构和参考标签惯例的复合变化下,直接迁移仍然受到限制。这些发现表明,SAF-CropNet兼具较强的区域内分割精度和计算效率,并能从有限的目标域自适应中获得显著增益,而在严重复合域偏移下的直接零样本泛化能力仍然有限。