Discover Artificial Intelligence·10月7日 · 周三论文农业遥感与作物表型阅读 4
A global-local hybrid vision-language framework for interpretable grapevine disease diagnosis
Lang Hoang Son · Bùi Thanh Hùng
论文解读
80精选
速览
提出全局-局部混合视觉语言框架，实现可解释的葡萄病害诊断，准确率达98.7%。
方法
无监督显著性自动裁剪提取局部病斑，双流图像输入LLaVA-1.5 7B，4-bi
发现
方法显著优于零样本基线，并提供跨注意力热图实现可解释诊断。
机会点
可探索无标注病斑定位与轻量化VLM在田间实时诊断中的泛化能力。
影响力18
信息增量22
专业深度18
信源权威13
时效性9
提出全局-局部混合视觉语言框架，以98.7%准确率实现葡萄病害可解释诊断，方法新颖且具产业应用潜力。
原文摘要
摘要 植物病害对农业生产力与全球粮食安全构成严重威胁。尽管卷积神经网络（Convolutional Neural Networks）在受控环境下已取得令人瞩目的分类精度，但其往往缺乏语义推理能力，且作为不可解释的“黑箱”运行。近年来，视觉-语言模型（Vision-Language Models）作为强大的多模态推理系统崭露头角。然而，将其应用于复杂的真实世界图像时，会出现“注意力汇”现象，将计算资源浪费在背景噪声上，而非微小的坏死病斑。本文提出了一种模拟农业专家诊断工作流程的全局-局部混合框架。该系统利用CIE-LAB色彩空间中的无监督显著性自动裁剪算法，无需边界框标注即可自动提取局部病害斑块。由全局上下文和局部斑块组成的双图像流被输入LLaVA−1.5 7B，并使用4位QLoRA进行微调以确保参数效率。此外，我们从解码器最后一层提取交叉注意力热图，以提供可解释人工智能能力。在葡萄藤病害数据集上的实验结果表明，本方法总体准确率达到98.7%，显著优于零样本基线，同时为精准农业提供了明确的语义可解释性。