Geoinformatics-oriented concept-guided segmentation of Earth observation imagery using text-driven foundation models

方法

基于冻结SAM 3式PCS骨干微调解码器，用28.5万图像块和地理概念标签训练。

发现

在七个遥感基准上，三种输入模式下均媲美或超越专用CNN/Transformer及SAM适配模型。

机会点

可将开放词汇文本分割用于农田地块、梯田等细粒度农业要素提取，探索跨传感器零样本迁移。

地球观测图像分割是地理信息科学的一项核心任务，能够从卫星和航空影像中实现精确的土地覆盖制图、基础设施监测和环境变化检测。然而，现有的遥感分割模型通常针对固定的类别体系进行训练，缺乏跨传感器泛化能力，并且每遇到新的地理场景或传感器配置都需要大量人工标注。为克服这些局限，我们提出ConceptSeg，一个面向地理信息科学地球观测分析的概念驱动开放词汇分割框架，并在光学卫星（Sentinel-2、高分二号和WorldView-3）、航空和无人机影像上进行了评估。ConceptSeg在冻结的Segment Anything Model 3（SAM 3）风格的可提示概念分割（Promptable Concept Segmentation, PCS）骨干网络之上构建解码器，并在大规模精选的遥感图像语料库上进行微调，该语料库配有丰富的地理空间概念标签，包含来自七个公开基准的285,100个图像块。用户可以通过开放词汇文本描述（如“整治河道”“白色住宅”“梯田”）来定位任意土地覆盖类型、建筑物、农业特征和灾害损毁，而不受限于预定义类别集或几何提示。该框架通过三个专门设计的组件解决了自然影像与俯视影像之间的根本性领域差异——包括观测几何（天底与倾斜）、空间分辨率（0.3–10 m地面采样距离）、光谱呈现和地理空间术语等方面的差异：具有地理空间感知位置编码的多尺度图像编码器、将文本描述投影到地理空间语义嵌入的概念编码器，以及将提示特征与多尺度图像表示融合的交叉注意力解码器。由于提示分割方法可以接收不同数量的测试时信息，我们在三种明确区分的输入模式下评估ConceptSeg：（i）传统闭集自动分割，（ii）全自动开放词汇纯文本分割，（iii）由文本和空间边界框联合引导的交互式分割。在七个遥感基准上的综合实验表明，在每种模式下，ConceptSeg与在相同输入模式下评估的专用CNN/Transformer模型和基于SAM的适配方法相比具有竞争力或更优表现。在交互式文本加框模式下