Framework for Adaptive Multimodal Learning to Provide Interpretable and Climate-Aware Crop Recommendations in Precision Agriculture
N. Magendiran · A.Jeyamurugan · D. Banumathy 等 4 人
提出基于Perceiver IO的多模态作物推荐框架，融合土壤、气候与遥感影像。
Perceiver IO跨注意力融合土壤、气候时序与Sentinel-2影像，E
R²达0.992，多模态融合与EWC提升鲁棒性与可解释性，优于单模态基线。
可探索多模态融合模型在真实田间小样本与跨区域迁移下的可解释性与持续学习稳定性。
提出基于Perceiver IO的多模态作物推荐框架，融合土壤、气候与Sentinel-2时序影像，并引入持续学习与SHAP可解释性，方法新颖、指标扎实，属农业AI细分领域实质进展。
农业日益需要自适应、透明且数据驱动的决策支持系统，以在气候变异性加剧和土壤退化背景下维持生产力。传统作物推荐方法（决策树、随机森林、支持向量机、XGBoost）基于土壤的静态描述，因而无法捕捉气候的时间动态和多模态交互；同样，早期深度学习方案（Bi-LSTM、GRU、XAI-CROP）增强了模式识别能力，但在处理异构输入和可操作的透明度方面缺乏稳健性。为解决这些局限，本研究提出一种基于Perceiver IO的多模态作物推荐框架，将土壤化学与农艺特征、长期气候时间序列数据以及Sentinel-2影像时间序列融合为单一潜在表示。Perceiver IO编码器利用交叉注意力同步异构模态，堆叠的潜在Transformer层保留高阶时间与跨模态关系，解码器生成概率性作物适宜性评分。为确保未来对季节和气候变化的适应能力，引入弹性权重巩固（EWC）以避免增量更新中的灾难性遗忘。透明度通过基于SHAP的特征归因和反事实分析实现，解释土壤养分、降雨、温度和光谱指数如何影响推荐结果。该框架在TensorFlow和PyTorch中实现，并在作物推荐数据集、印度农业与气候数据集（1961–2018）以及用于作物制图的Sentinel-2影像时间序列上评估，达到R² = 0.992、RMSE = 0.028、MAE = 0.019，优于单模态基线。消融和持续学习实验证明了多模态融合和EWC在实现韧性、可解释且可田间部署的作物推荐方面的优势，推动了气候感知精准农业的发展。提出一种基于Perceiver IO的多模态框架，整合土壤、气候和Sentinel-2影像进行综合作物推荐。采用交叉注意力融合和持续学习（EWC）确保在季节和气候变化下的适应性且不发生灾难性遗忘。通过基于SHAP的特征归因和反事实可视化分析展示高可解释性和透明度。以R² = 0.992、RMSE = 0.028和MAE = 0.019达到最先进性能。