Toward scalable organ-level 3D plant segmentation: A systematic and quantitative review through the lens of the data-algorithm-computing triangle

方法

综述3D植物数据集与深度学习分割方法，构建PSS开源基准并做定量实验。

发现

稀疏卷积与序列化骨干及Transformer实例分割有效，合成数据可降低标注需求。

机会点

可探索数据高效、跨物种泛化的3D植物分割模型与标准化评测协议。

植物形态的精确表征为理解植物-环境相互作用和遗传演化提供了宝贵见解。提取此类信息的一项关键技术是三维分割，它能够从复杂点云中勾勒出植物各器官。尽管通用三维计算机视觉领域已取得显著进展，三维分割在植物表型分析中的应用仍受限于三大挑战：(i) 大规模标注数据集的稀缺，(ii) 将先进深度神经网络适配于植物点云的技术困难，以及(iii) 缺乏面向植物科学量身定制的标准化基准与评估协议。本综述通过以下方式系统性地应对这些障碍：(i) 在通用三维分割领域的背景下概述现有三维植物数据集，(ii) 系统总结基于深度学习的点云语义与实例分割方法，(iii) 介绍植物分割工作室（Plant Segmentation Studio, PSS）——一个用于可重复基准测试的开源框架，以及(iv) 开展大量定量实验以评估代表性网络和仿真到现实（sim-to-real）学习策略。我们的研究结果凸显了稀疏卷积与基于序列化的主干网络以及基于Transformer的实例分割网络的有效性，同时强调了基于建模和基于增强的合成数据生成在仿真到现实学习中对降低标注需求的互补作用。总体而言，本研究弥合了算法进展与实际部署之间的差距，为研究人员提供了即时可用的工具，并为在三维植物表型分析中开发数据高效且具有泛化能力的深度学习解决方案提供了路线图。数据与代码见：https://github.com/perrydoremi/PlantSegStudio 。