基于无人驾驶小麦收割机立体视觉感知系统

doi:10.13733/j.jcam.issn.2095-5553.2024.09.037

摘要/Abstract

摘要：

针对小麦收割机在农场无人驾驶作业时无法实现动态障碍的实时避障，无人驾驶技术安全性低等问题，设计一种基于立体视觉与深度学习相结合的无人驾驶立体视觉感知系统。首先使用立体视觉相机采集左右目灰度图像，通过图像中像素位置的视差以及立体视觉成像原理，实现对障碍物的距离计算；再将相机采集的 RGB图像通过深度学习进行处理，实现障碍物的检测识别，最终完成对动态障碍物的感知。结果表明，基于立体视觉与深度学习的无人驾驶感知系统在农场无人驾驶作业中动态障碍物的检测速率达到 30. 1 fps，精确率达到 98. 24%。该方法能够较好的满足作业中动态障碍物检测的识别要求，显著提升无人驾驶小麦收割机作业时的安全性和可靠性，为智能农机无人驾驶的研制奠定理论与技术基础。

关键词: 小麦收割机, 无人驾驶, 立体视觉相机, 深度学习, 目标检测

Abstract:

In response to the problems of wheat harvesters being unable to achieve real.time obstacle avoidance of dynamic obstacles during unmanned operation on farms，and the low safety of unmanned driving technology，this paper designs an unmanned stereo vision perception system based on a combination of stereo vision and deep learning. The system first uses a stereo vision camera to collect grayscale images of left and right eyes，and calculates the distance between obstacles through the disparity of pixel positions in the image and the principle of stereo vision imaging；Then，the RGB images collected by the camera are processed through deep learning to achieve obstacle detection and recognition，ultimately completing the perception of dynamic obstacles. The research results indicate that the autonomous driving perception system based on stereo vision and deep learning has a detection rate of 30. 1 fps and an accuracy rate of 98. 24% for dynamic obstacles in unmanned driving operations on farms. The method proposed in this article can effectively meet the recognition requirements of dynamic obstacle detection during operation，significantly improving the safety and reliability of unmanned wheat harvesters during operation，and laying a theoretical and technical foundation for the development of intelligent unmanned agricultural machinery.

Key words: wheat harvester, unmanned driving, stereo vision camera, deep learning, target detection

中图分类号:

李邦国, 王辉, 宋杨, 任志伟, 刘跃华, 徐乐程. 基于无人驾驶小麦收割机立体视觉感知系统[J]. 中国农机化学报, 2024, 45(9): 244-249.

Li Bangguo, Wang Hui, Song Yang, Ren Zhiwei, Liu Yuehua, Xu Lecheng. Stereo visual perception system based on unmanned wheat harvester [J]. Journal of Chinese Agricultural Mechanization, 2024, 45(9): 244-249.

参考文献

［ 1］常君瑞，马斌畅，国芳 . 5G通信技术在无人驾驶农机领域的应用研究［ J］.南方农机， 2022，53（2）：48-50.

Chang Junrui，Ma Binchang，Guo Fang. Research on the application of 5G communication technology in the field of unmanned agricultural machinery［J］. Southern Agricultural Machinery，2022，53（2）：48-50.

［ 2］罗锡文，廖娟，臧英，等 .我国农业生产的发展方向：从机械化到智慧化［ J］.中国工程科学， 2022，24（1）：46-54.

Luo Xiwen，Liao Juan，Zang Ying，et al. Developing from mechanized to smart agricultural production in China［J］. Strategic Study of CAE，2022，24（1）：46-54.

［ 3］周楠，杨鹏，魏春山，等 .地块尺度的山区耕地精准提取方法［ J］.农业工程学报， 2021，37（19）：260-266.

Zhou Nan，Yang Peng，Wei Chunshan，et al. Accurate extraction method for cropland in mountainous areas based on field parcel［J］. Transactions of the Chinese Society of Agricultural Engineering，2021，37（19）：260-266.

［ 4］罗承铭，熊陈文，黄小毛，等 .四边形田块下油菜联合收获机全覆盖作业路径规划算法［ J］.农业工程学报， 2021，37（9）：140-148.

Luo Chengming，Xiong Chenwen，Huang Xiaomao，et al. Coverage operation path planning algorithms for the rape combine harvester in quadrilateral fields［J］. Transactions of the Chinese Society of Agricultural Engineering，2021， 37（9）：140-148.

［ 5］于燕，李宁 .基于北斗和激光雷达的机器人导航控制方法研究［ J］.中国农机化学报， 2019，40（8）：165-170.

Yu Yan，Li Ning. Research on navigation control of robot based on Beidou and lidar［J］. Journal of Chinese Agricultural Mechanization，2019，40（8）：165-170.

［ 6］张良，伍滨涛，谢景鑫，等 .北斗导航农机作业面积管理系统设计与试验［ J］.中国农机化学报， 2020，41（12）： 139-146.

Zhang Liang，Wu Bintao，Xie Jingxin，et al. Design and test on agricultural machinery operation area management system of Beidou navigation［J］. Journal of Chinese Agricultural Mechanization，2020，41（12）：139-146.

［ 7］张秋昭，张书毕，刘志平，等 .基于双差伪距 /伪距率的 GPS/SINS紧组合导航［ J］.武汉大学学报（信息科学版），2015，40（12）：1690-1694，1700.

Zhang Qiuzhao， Zhang Shubi， Liu Zhiping， et al. Tightly.coupled GPS/SINS integrated system measurement model based on double.difference pseudo.range/pseudo.range rate［J］. Geomatics and Information Science of Wuhan University，2015，40（12）： 1690-1694，1700.

［ 8］董胜，袁朝辉，谷超，等 .基于多学科技术融合的智能农机控制平台研究综述［J］.农业工程学报， 2017，33（8）：1-11.

Dong Shen，Yuan Chaohui，Gu Chao，et al. Research on intelligent agricultural machinery control platform based on multi.discipline integration［J］. Transactions of the Chinese Society of Agricultural Engineering， 2017， 33（8）：1-11.

［ 9］赵铖钥，马伟，苏道毕力格，等 .激光雷达与视觉融合的跟随运输机器人设计［ J］.中国农机化学报， 2023，44（6）：176-181.

Zhao Chengyao，Ma Wei，Su Daobilige，et al. Design of a following transport robot based on lidar and vision fusion［J］. Journal of Chinese Agricultural Mechanization， 2023，44（6）：176-181.

［10］赵欣，王万里，董靓，等 .面向无人驾驶农机的高精度农田地图构建［ J］.农业工程学报， 2022，38（S1）：1-7.

Zhao Xin，Wang Wanli，Dong Jing，et al. High precision farmland map construction for unmanned agricultural machinery［J］. Transactions of the Chinese Society of Agricultural Engineering，2022，38（S1）：1-7.

［11］李清泉，李必军，陈静 .激光雷达测量技术及其应用研究［J］.武汉测绘科技大学学报， 2000（5）：387-392.

Li Qingquan，Li Bijun，Chen Jing. Research on Laser range scanning and its application［J］. Geomatics and Information Science of Wuhan University， 2000（5）： 387-392.

［12］王菁，范晓飞，赵智慧，等 .基于 YOLO算法的不同品种枣自然环境下成熟度识别［ J］.中国农机化学报， 2022， 43（11）：165-171.

Wang Jing， Fan Xiaofei， Zhao Zhihui， et al. Maturity identification of different jujube varieties under natural environments based on YOLO algorithm［J］. Journal of Chinese Agricultural Mechanization， 2022， 43（11）： 165-171.

［13］Redmon J，Divvala S，Girshick R，et al. You only look once：Unified，real.time object detection［C］. Computer Vision & Pattern Recognition. IEEE，2016：779-788.

［14］王新彦，易政洋 .基于改进 YOLOv5的割草机器人工作环境障碍物检测方法研究［ J］.中国农机化学报， 2023， 44（3）：171-176.

Wang Xinyan， Yi Zhengyang. Research on obstacle detection method of mowing robot working environment based on improved YOLOv5［J］. Journal of Chinese Agricultural Mechanization，2023，44（3）：171-176.

［15］王宇博，马廷淮，陈光明 .基于改进 YOLOv5算法的农田杂草检测［ J］.中国农机化学报， 2023，44（4）：167-173.

Wang Yubo， Ma Tinghuai， Chen Guangming. Weeds detection in farmland based on a modified YOLOv5 algorithm［J］. Journal of Chinese Agricultural Mechanization，2023，44（4）：167-173.

［16］Girshick R， Donahue J， Darrell T， et al. Rich feature hierarchies for accurate object detection and semantic segmentation［J］. IEEEComputerSociety，2014：580-587.

[1]	韩鹏飞, 宋其江, 贾梦实. 基于改进轻量化 EfficientNet-V2模型的小麦种子分类[J]. 中国农机化学报, 2024, 45(9): 111-117.
[2]	李志臣, 凌秀军, 李鸿秋. 基于声音深度学习的发动机失火故障诊断[J]. 中国农机化学报, 2024, 45(9): 134-140.
[3]	桑一男 , 徐增莱 , 汪琼 , 葛海涛 , 王殿广 . 一种轮式采花机器人设计——以黄蜀葵为例[J]. 中国农机化学报, 2024, 45(9): 202-208.
[4]	许贞辉, 李晓娟. 果园树干检测与导航线拟合算法研究[J]. 中国农机化学报, 2024, 45(8): 217-222.
[5]	胡国玉, 刘广, 周星光, 董娅兰, 周建平, . 基于Swin-TDL算法的果园环境下葡萄病害检测方法[J]. 中国农机化学报, 2024, 45(8): 234-239.
[6]	吴利刚, 吕媛媛, 周倩, 陈乐, 张梁, 史建华. 基于改进YOLOv5的轻量级黄花成熟检测方法[J]. 中国农机化学报, 2024, 45(7): 235-242.
[7]	张继成, 黄向党. 基于改进YOLOv3的玉米病害识别方法[J]. 中国农机化学报, 2024, 45(7): 269-275.
[8]	雷浩, 苑迎春, 何振学. 基于多尺度卷积和注意力机制的枣品种识别[J]. 中国农机化学报, 2024, 45(6): 135-141.
[9]	崔海朋, 秦朝旭, 马志宇. 基于深度学习的鱼类特征点检测与体征识别方法[J]. 中国农机化学报, 2024, 45(6): 201-207.
[10]	黄尧, 何敬, 付饶, 刘刚, , 林远杨. YOLOv5s-CBAM算法在福寿螺虫卵识别中的应用分析[J]. 中国农机化学报, 2024, 45(6): 223-228.
[11]	陶旭, , 余富强, , 蔡金金, 么炜, , 刘博, . 面向激光雷达点云数据的多结构树种识别[J]. 中国农机化学报, 2024, 45(5): 168-175.
[12]	漆海霞, , , 李承杰, 黄桂珍. 基于轻量化YOLOv4的死淘鸡目标检测算法[J]. 中国农机化学报, 2024, 45(5): 195-201.
[13]	罗鑫, 李加强, 何超. 基于改进YOLOv4的澳洲坚果视觉监测方法[J]. 中国农机化学报, 2024, 45(5): 217-222.
[14]	廖舒怀, , 王凯, 宋健, 解福祥, 王名声, , 龚中良. 基于移动机器人的树木识别与冠层信息测量[J]. 中国农机化学报, 2024, 45(5): 232-238.
[15]	王化佳, 顾寄南, 王梦妮, 夏子林. 基于深度学习的茶嫩芽分割与采摘点定位方法研究[J]. 中国农机化学报, 2024, 45(5): 246-252.