LitchiInst: Instance segmentation of the main fruit-bearing branch via fruit-branch association for robotic litchi harvesting

方法

结构关联引导机制、增强特征金字塔网络和Mask-to-3D头，基于荔枝图像数据。

发现

主结果枝平均精度提升31.06%，真实机器人实验检测成功率达92.0%。

机会点

可探索果实-枝条显式关联机制在其他果园采摘中的迁移，并融合时序信息提升遮挡下的鲁棒性。

准确的采摘点定位是机器人采收面临的一项基本挑战。对于荔枝而言，这需要精确识别主结果枝（MFBB）。然而，现有方法依赖隐式结构关联，无法学习果实与枝条之间显式的空间相关性，导致误识别频发。为解决这一问题，提出了LitchiInst，一种实时实例分割框架，能够显式建模这种果枝依赖关系。LitchiInst的核心是结构关联引导（SAG）机制，该机制采用SAG查询和专用的SAG损失来强化空间相关性并实现结构感知判别。该框架还通过增强特征金字塔网络（EFPN）捕获细粒度MFBB特征，并利用Mask-to-3D头将分割掩码转换为稳定的3D采摘点以供机器人执行。相较于基线，LitchiInst将MFBB平均精度提升了31.06%，同时保持实时处理能力。在三种测试设置下的真实机器人实验中，LitchiInst实现了92.0%的MFBB检测成功率。这些结果进一步证明了其作为自动化荔枝采收视觉引导模块的实际潜力。