Hybrid transformer and CNN for hyperspectral image classification with spectral band selection

高光谱图像（HSI）在监视和精准农业等遥感应用中发挥着重要作用，但仍面临标注样本有限和类别不平衡等挑战。本文提出了一种将光谱波段选择与先进深度学习技术相结合的高光谱图像分类新方法。首先，我们提出了一种优化的波段选择方法，并利用裁剪与缩放变换进行数据增强，以提升特征多样性。其次，我们引入了一种混合卷积-Transformer框架，将视觉Transformer（ViT）与二维卷积神经网络（2D-CNN）架构相结合，并辅以序列聚合层以缓解小数据集上的过拟合问题。该混合模型在保留关键光谱细节的同时，有效捕捉了空间和光谱特征。最后，我们采用支持向量机进行稳健分类。在三个广泛使用的高光谱图像数据集上进行的大量实验表明，我们提出的ViT-CNN-BS框架相比最先进的少样本学习方法和传统方法，实现了更优的分类精度。除了达到更高的精度外，我们的方法还降低了计算复杂度，使其适用于资源受限的应用场景。研究结果凸显了混合深度学习框架在推动遥感分析方面的潜力，并可扩展应用于环境监测、灾害管理和精准农业等领域。