A Multi-Modal Generative Model for Tomato Disease Leaves Understanding
Khang Nguyen Quoc · Minh-Phuoc Tran · Gia-Han Truong 等 4 人
提出多模态生成模型SOLAR，统一理解番茄病害叶片的六类问答任务。
基于混合专家融合模块对齐视觉与任务感知语言，用4万余图像和21万问答对训练。
SOLAR在闭集和开放问答中均超越视觉、视觉语言及任务专用模型，展现更强推理能力。
可探索将生成式多模态VQA扩展到更多作物和田间实时场景，并融合传感器数据。
提出面向番茄病害的多模态生成式VQA模型SOLAR，在4万余张图像上验证多任务诊断性能，方法新颖、数据规模可观，对智慧植保有参考价值。
人工智能用于植物病害分析已从任务专用分类器发展到能够联合解读视觉与文本信息的多模态模型。然而，在精准农业中的实际部署仍然有限，因为大多数现有方法将病害理解视为孤立的预测任务，未能捕捉症状识别、严重程度评估与问题驱动诊断推理之间的互补关系。在番茄病理学中，对病叶的准确解读需要的不仅仅是标签预测；它要求将视觉症状与语义上下文相结合，以支持全面且可解释的理解。在此，我们提出SOLAR，一种多模态生成模型，能够理解番茄病害并涵盖六项问答任务。SOLAR通过基于专家混合的融合专家模块，学习将视觉特征与任务感知的语言表示对齐，使其能够在多样化的诊断任务中生成上下文相关的答案。通过将番茄病害分析表述为生成式视觉问答（VQA）任务，SOLAR提供了一个灵活的框架，支持在单一模型内进行多任务推理，同时提升性能并促进跨任务知识共享。我们在$41,677$张图像上评估SOLAR，其中包括$216,209$个问答（QA）对，以在封闭式和开放式问答设置下理解番茄叶片病害。实验结果表明，SOLAR在所有任务上均持续优于最先进的纯视觉、视觉语言和任务专用模型，展现出更优的准确性、鲁棒性和多模态推理能力。这些发现凸显了生成式多模态建模作为理解植物病害的有效方向的潜力。本研究的代码可在https://github.com/EnalisUs/SOLAR获取。