面向少样本或零样本农业障碍物三维检测的多模态特征表示机制
中国农大团队在Engineering发表少样本/零样本农业障碍物3D检测研究，方法新颖，数据详实，权威性高，但发布已超一周，时效性略低。
中国农业大学张漫教授团队在《Engineering》农业传感器专题发表论文,针对农田障碍物样本稀缺、标注昂贵、多模态结构难对齐痛点,提出图像-点云姿态校正+特征级融合架构,集成 BERT 语义向量与 FPFH/SICC 几何-强度描述子,经 CBAM 注意力构建语义-几何-强度表征空间,采用 KITTI 预训练大幅降低田间标注依赖;模型输出障碍物三维位置、尺寸与朝向,端到端交叉熵分类损失与平滑 L1 回归损失联合优化,为农机自主导航提供稳健三维感知方案。
近日，中国农业大学张漫教授团队在中国工程院院刊《Engineering》农业传感器专题刊发题为“Multimodal Feature Representation Mechanism for 3D Detection of Agricultural Obstacles with Few or Zero Samples”研究论文，提出适配非结构化农田场景的多模态融合三维障碍物检测方案，缓解田间标注样本稀缺带来的应用难题。
粮食需求上涨、农业从业人口缩减背景下，农业机械自主导航成为降低劳动依赖、提升作业效率的核心路径，稳健的三维障碍物检测是保障农机自主行驶安全的核心环节。相机与激光雷达可同步输出图像、三维点云数据，二者特征具备互补性，相关深度学习融合方案已成为障碍物检测主流路线，但现有模型训练高度依赖大规模标注数据集，农田场景障碍物样本稀缺、场景差异显著，多模态数据标注专业且耗时，制约算法落地田间。少样本、零样本学习可依托少量样本实现新类别泛化，然而多模态数据冗余复杂、田间地形带来样本分布偏移、图像与点云结构难以对齐，三类问题阻碍该类范式在农业感知场景落地。
研究团队构建全新多模态特征表示检测架构，集成图像与点云姿态校正器，依托北斗导航卫星系统、惯性测量单元输出姿态信息完成坐标变换，消除崎岖地形引发的姿态偏差，提升多模态数据一致性；采用特征级融合搭配体素点云编码器，减少无关区域冗余计算，提升模型运行效率；搭建语义特征编码器与几何—强度特征编码器，分别从图像提取语义属性、从点云提取几何与强度属性，再通过鸟瞰图空间融合解码器统一映射特征，区分障碍物类内相似性与类间差异性。研究选取公开KITTI数据集完成模型预训练，降低田间专属标注数据需求，依托BERT模块生成语义向量、FPFH与SICC三维描述子封装几何强度向量，经CBAM注意力模块构建语义—几何—强度融合表征空间，缩小不同障碍物类别特征鸿沟；模型采用交叉熵分类损失与平滑 L 1 回归损失实现端到端联合优化，以中心点多任务定位头输出障碍物三维位置、尺寸与朝向。
图1. 基于多模态特征表示的障碍物检测架构。(a) 图像特征编码器, (b) 点云特征编码器, (c) 语义特征编码器, (d) 几何—强度特征编码器, (e) 鸟瞰图空间融合解码器。
研究依托搭载多模态感知设备的雷沃欧豹M904-D拖拉机，在河北涿州试验站水泥路、未耕地、小麦地三类场景完成田间采样试验，共采集3029帧多模态数据，涵盖收割机、拖拉机、人员三类典型农田障碍物。多类别田间试验结果显示，该方法可将训练样本依赖降低30%–40%，模型精确率、召回率、F 1 分数与检测帧率分别达到95.03%、97.01%、96.01%、16.56 FPS，检测速度高于全景相机、三维激光雷达10 Hz采样速率，满足实时感知需求；在无对应训练样本的零样本场景下，模型仍取得81.63%的 F 1 分数，在检测性能、运行效率、数据依赖三者间形成均衡适配效果。
论文同时指出当前研究存在局限，本次试验多传感器外参提前标定且固定，针对尺度跨度较大的障碍物鲁棒性存在提升空间，后续将探索尺度自适应多模态配准策略，进一步拓展模型对多尺度田间障碍物的泛化能力。该研究成果由国家重点研发计划资助，可为农业机械自主导航提供数据高效、可扩展的障碍物感知技术支撑。
引用信息：
Tianhai Wang, Ning Wang, Shunda Li, Zhiwen Jin, Jianxing Xiao, Yanlong Miao, Yifan Sun, Han Li, Man Zhang. Multimodal Feature Representation Mechanism for 3D Detection of Agricultural Obstacles with Few or Zero Samples. Engineering. DOI: 10.1016/j.eng.2026.01.030
﹝Engineering简介﹞
中国工程院院刊《Engineering》是工程科技综合性学术期刊，由中国工程院主管，中国工程院战略咨询中心、高等教育出版社联合主办，《中国工程科学》杂志社与国际出版商爱思唯尔合作出版。期刊创刊于2015年，得到联合国教科文组织（UNESCO）、国际工程与技术科学院理事会（CAETS）及多国国家工程科学院、海内外专家学者大力支持。期刊致力于搭建高水平工程科技重大成果发布与国际学术交流平台，推动工程科技造福人类、开创未来，设置新闻热点、观点述评、工程成就、研究论文等特色栏目，刊载具有原创性、突破性、交叉性、前沿性工程科技创新成果。已被SCI、EI、Scopus、DOAJ、CSCD、CSTPCD等国内外权威检索数据库完整收录。2025年JCR影响因子12.2（Q1，3/178）；2025年CiteScore为19.4，位列工程科技多学科期刊前5%。入选2016年中国科技期刊登峰计划、2019年中国科技期刊卓越行动计划领军期刊、2024年中国科技期刊卓越行动计划二期英文领军期刊，2026年获第六届中国出版政府奖期刊奖。
