AgriMAC: An Attention Based Multimodal Deep Clustering Framework for Rice Health Assessment
Nurfadhilah Mardianti Andini · Mike Yuliana · Moch. Zen Samsono Hadi
提出无监督多模态聚类框架AgriMAC，融合无人机NDVI、IoT土壤与气象数据评估水稻健康。
各模态自编码器编码，熵正则注意力融合，深度嵌入聚类，按生长阶段残差化。
聚类性能与仅IoT模型相当，但注意力权重可解释模态贡献并弱化生长阶段混淆。
可探索注意力融合机制在更多作物与传感器组合下的泛化性，并引入时序动态聚类。
提出无监督多模态注意力聚类框架，融合无人机NDVI、IoT土壤与气象数据评估水稻健康，方法新颖且实验严谨，对精准农业田间监测有参考价值。
水稻是印度尼西亚的主要作物，但近年来其生产力有所下降，因为病虫害暴发在早期阶段仍难以检测。现有的精准农业方法通常独立处理物联网（IoT）传感器数据和遥感影像，且往往依赖监督学习，需要大量标注数据。与此同时，生成归一化植被指数（NDVI）的多光谱无人机影像比基于RGB的植被指数能提供更丰富的作物生理状况信息。本研究提出农业多模态注意力聚类（AgriMAC），这是一个无监督框架，整合了无人机获取的NDVI影像、七合一IoT土壤传感器测量数据以及来自Open-Meteo API的历史天气数据，用于稻田状况监测。每种模态均使用专用自编码器进行编码，并通过熵正则化注意力机制进行融合，随后执行深度嵌入聚类。为减少作物生长阶段的影响，IoT表征利用仅从训练折估计的生长阶段统计量进行残差化处理，使发现的聚类能够表征阶段内的农艺状况而非作物年龄。在分组留一田块协议下进行的实验产生了0.465 ± 0.048的轮廓系数、0.807 ± 0.036的Davies-Bouldin指数和195 ± 27的Calinski-Harabasz指数。学习到的分组还显示出与生长阶段的低归一化互信息（0.079 ± 0.043）以及接近随机的阶段可解码性（平衡准确率 = 0.554 ± 0.042），表明它们与作物生长阶段仅存在弱关联。学习到的注意力权重将IoT土壤测量（0.570 ± 0.024）识别为主导模态，而NDVI影像（0.210 ± 0.014）和天气信息（0.220 ± 0.014）则提供了互补的空间和时间背景。总体而言，AgriMAC为稻田状况的多模态聚类提供了一个可解释且感知数据泄漏的框架。尽管其聚类性能与容量匹配的仅IoT模型相当，但它还通过注意力权重量化了每种传感模态的贡献，并明确减轻了生长阶段混杂因素，使其适用于田块级农艺状况监测和精准农业中的空间决策支持。