DMP-UNet: a multimodal fusion network for high-precision nitrogen status monitoring in wheat from UAV multispectral images

实现对小麦氮素水平的高精度监测对于提高产量和籽粒品质至关重要，然而遥感领域长期局限于单一模态数据源，未能充分利用多模态融合的协同优势。为此，我们提出了一种多模态特征融合网络，同时利用RGB、多光谱和植被指数数据。该网络采用双分支编码器，从由NDVI、绿光和近红外波段组成的融合图像中提取模态特定特征；可变形双向交叉注意力模块用于对齐像素级特征并增强跨模态交互；模态感知金字塔注意力特征金字塔网络跨尺度和跨模态融合语义信息；双路径解码器将背景与小麦区域分离，其中前景解码器由植被注意力图引导，将氮素状态分为四个等级：富集、最适水平、中度缺氮和重度缺氮。实验结果表明，我们的方法优于DeepLabV3+、U-Net、U-Net++和Attention UNet等最先进模型。模态贡献分析证实了RGB和多光谱的互补作用，消融研究验证了各关键模块的有效性。这些发现证实了所提方法在小麦精确氮素监测中的实用性和高效性，凸显了其在精准农业中优化施肥策略的潜力。