Deep learning-based multi-view perception and adaptive grasp pose correction for cooperative dual-arm fruit harvesting under occlusion

本研究提出了一种面向双臂农业机器人的失败恢复协同采收流水线：每条机械臂独立执行采收，仅当对遮挡果实的单视角抓取失败时，才切换至协同操作。这种协同是必要的，因为当目标果实被周围枝叶严重遮挡时，准确抓取位姿推断会显著退化；现有方法，包括显式6D位姿估计和基于形状补全的方法，依赖于重建几何信息，而这些信息在严重遮挡下往往无法获得。为解决这一局限，所提出的框架——称为协同主动采收机器人方案（Cooperative Active Harvesting Robot Scheme，Co-AHRS）——集成了从不完整点云直接进行抓取位姿推断、主动多视角感知以及闭环视觉伺服。该框架不重建隐藏几何结构，而是利用Contact-GraspNet直接从部分观测中生成可行抓取候选。当初始抓取尝试失败时——原因可能是严重遮挡下的位姿推断不准确，或目标果实在接近过程中发生物理位移——对侧机械臂被重新分配为辅助观察者，其朝上的视角可实现闭环视觉伺服，持续估计夹爪与目标果实之间的三维位置误差，以进行实时位姿校正。Co-AHRS通过实验室实现进行了评估，在无遮挡和有遮挡条件下分别取得了89.2%和78.5%的采收成功率。所提出的框架也显著优于基于视锥的定位（75.0%和55.2%）以及显式6D位姿估计（57.1%和7.7%）。在由两台同型号机械臂构成的第二种配置上进行的进一步评估验证了两条机械臂可并行采收，并以0.549 ± 0.101的可见表面比例量化了遮挡条件。这些结果表明，直接抓取推断结合协同多视角视觉反馈是在易遮挡果园环境中实现自主果实采收的有效策略。