Hybrid Attention Transformers for Multi-Spectral Satellite Super-Resolution
Naman Sharma
提出HAT-Light混合注意力Transformer,实现Sentinel-2多光谱16位影像连续
混合窗口自注意力与深度可分离卷积前馈网络,结合FiLM连续尺度调制和多任务物理约
在600个Sentinel-2测试块上达33.48dB PSNR,NDVI相关性R²=0.898,边
可探索超分后多光谱影像对作物长势、病虫害等下游农学任务的定量增益与不确定性传播。
面向Sentinel-2多光谱16位反射率影像的超分辨率新方法,兼顾辐射保真与NDVI生物物理一致性,对农业遥感监测有实质技术增量。
星载光学成像任务,如欧洲航天局哥白尼哨兵-2星座,在全球范围内提供了重要的多光谱观测数据,然而光学孔径衍射将可见光与近红外(VNIR)波段的原生地面采样距离(GSD)限制在10 m。专为8位摄影图像设计的传统单图像超分辨率(SISR)算法会引入严重的辐射畸变,从而破坏下游的植被生物物理分析。本文提出HAT-Light,一种面向边缘高效推理的连续尺度混合注意力Transformer,专为4通道(RGB+NIR)、16位大气底层(BOA)地表反射率影像设计。HAT-Light通过将非重叠窗口多头自注意力与深度可分离卷积前馈网络(DW-FFN)相结合,解决了标准自注意力的局限性,有效恢复了平移等变的局部归纳偏置,这对于分辨精细农田地块边界和机场跑道几何形态至关重要。通过谐波正弦特征级线性调制(FiLM),在单一检查点内实现了任意连续放大倍数(s∈[2.0, 4.0])。此外,我们通过复合多任务损失套件强制物理辐射守恒,该套件融合了平滑Charbonnier回归、二维实傅里叶变换(rFFT2)频谱对齐、方向性Sobel边缘惩罚以及数值有界的凸余弦光谱角映射(SAM)损失,确保FP16数值稳定性。在涵盖五种不同生物群系的600个精选哨兵-2测试图像块上进行评估,HAT-Light确立了最先进的精度(33.48 dB PSNR、0.9048 SSIM、1.37° SAM和1.89 ERGAS),优于双三次插值(+1.25 dB)和RCAN(+0.71 dB)。空间边缘剖面分析和农业NDVI相关性(R²=0.898)证实了稳健的生物物理守恒性。在100个真实2.5 m USGS NAIP航空图像块上按照Wald合成协议进行测试,HAT-Light在边缘GPU上以实时边缘吞吐量(78.7 FPS)实现了优异的零样本迁移性能(0.8332 SSIM)。