MCLC-NET: Multimodal Continual Learning for Leaf Counting

方法

基于记忆缓冲的持续学习策略，融合RGB、深度和热成像三种模态数据。

发现

在三种任务顺序下均优于现有方法，最低AMSE达0.542±0.069。

机会点

多模态持续学习在农业表型中尚属空白，可探索更多模态融合与动态环境适应策略。

叶片计数是植物表型分析中的一项重要任务，用于监测植物生长和估算作物产量。现有方法大多依赖RGB图像，但其性能往往受到遮挡、光照变化及其他现实挑战的影响。深度图像和热成像等其他模态可以提供有用的互补信息。然而，多模态叶片计数仍未被充分探索。此外，许多现有方法假设所有训练数据可同时获取，这在实际农业场景中并不现实，因为数据是随时间从多个来源收集的。为应对这些挑战，我们提出了MCLC-NET，一种用于叶片计数的多模态持续学习框架。该框架采用基于记忆的策略，通过记忆缓冲区保留先前任务中的重要样本，从而按顺序学习任务。我们还引入了MMLC，一个面向持续学习中域增量场景（DIS）设计的真实世界多模态叶片计数数据集。该数据集包含在不同环境条件下跨不同作物类型采集的RGB、深度和热成像图像，并按三种顺序排列：按作物、按时间和混合。在三个随机种子上的平均实验结果表明，MCLC-NET在所有三种任务顺序下均持续优于现有方法，分别取得了最低的AMSE，为0.675±0.027、0.542±0.069和0.745±0.057。