A collaborative perception framework for green jujube: from lightweight key point detection to posture-aware harvest analysis
Hongyan Zhu · Runlong Cao · Shuai Qin 等 8 人
提出RDA-YOLO与SAM2协同感知框架，实现青枣采摘点定位与姿态分析。
改进YOLOv11n-POSE，引入DSConv、RepViT与ARC-Pose
检测精度93.9%、关键点精度90.4%，模型仅2.49M参数、5.7 GFLOPs。
可探索多作物通用轻量姿态估计与遮挡感知采摘决策的迁移研究。
提出轻量化姿态估计与SAM2协同感知框架，实现青枣采摘点定位与遮挡评估，方法新颖、指标扎实，对智能采收有实用价值。
自动采摘是智慧农业的关键环节，但在复杂果园环境中精准定位采摘点仍是机器人采摘系统面临的核心挑战。为此，本研究提出了一种协同感知框架，将轻量级姿态估计模型RDA-YOLO（RepViT-DSConv-ARC-PoseHead增强型YOLO）与Segment Anything Model 2（SAM2）相结合。RDA-YOLO作为轻量级组件，负责实时果实检测与关键点定位；SAM2则用于果实轮廓分割与遮挡评估。基于YOLOv11n-POSE架构，我们引入分布偏移卷积（DSConv）以降低计算开销，并设计C3k2_RepViT模块以增强多尺度特征融合。关键在于，我们开发了专用的自适应回归协调姿态头（ARC-PoseHead）以替代传统预测结构，采用对数尺度极坐标回归和亚像素细化，显著提升了复杂背景下枣果及关键点的坐标感知能力。RDA-YOLO执行实时检测并定位果柄-果实过渡区等关键点以计算最优采摘角度，而SAM2基于检测框进行细粒度轮廓分割，以判定遮挡状态并建立采摘优先级。实验结果表明，RDA-YOLO对青枣检测的精确率达到93.9%，mAP@50为94.9%；在关键点检测方面，精确率达到90.4%，mAP@50为83.6%。值得注意的是，该模型通过将参数量降至249万、计算量降至5.7 GFLOPs，实现了轻量化设计。在田间机器人控制计算机及使用枣果模型的机器人平台上验证了部署可行性，展示了所提框架在实际采摘应用中的潜力。