基于图像与深度信息融合的西梅果实识别定位方法

doi:10.13733/j.jcam.issn.2095-5553.2024.09.026

摘要/Abstract

摘要：

为实现西梅采摘机器人在复杂自然生长环境下对西梅果实的快速、准确识别定位，提出一种基于图像与深度信息融合的西梅果实识别定位方法。首先采集西梅图像，并通过数据增强建立阴天、沙尘等环境和不同角度下的西梅图像数据集，然后利用彩色图像基于 YOLOv7网络模型快速识别西梅果实，获取果实表面中心点，再通过匹配融合彩色图和深度信息，采用深度距离分割剔除背景干扰噪声，实现西梅果实表面中心点的三维空间定位。试验结果表明，西梅果实识别模型可在多种果实生长分布场景下实现西梅果实的识别，其识别 F1值最高为 95. 8%，最低为 83. 2%；融合图像与深度信息的定位方法具有良好的定位效果，当深度距离小于 1m时，算法在各轴向上的定位误差均在 0. 005 m内；当深度距离为 1. 5 m时，误差最高为 0. 013 m，可满足西梅果实的识别定位要求。

关键词: 西梅, 目标识别, 三维定位, 信息融合, YOLOv7

Abstract:

In order to realize the rapid and accurate identification and positioning of prune fruit by the prune picking robot in the complex natural growth environment，a method for prune fruit identification and positioning based on the fusion of image and depth information was proposed. Firstly，the image of prune was collected，and data enhancement was used to establish prune image data sets under cloudy days，dusty environment and different angles，and then the color image was used to quickly identify prune fruits based on the YOLOv7 network model，the center point of the fruit surface was obtained. By matching and blending the color image and depth information，the depth distance segmentation was adopted to eliminate the background interference noise，to realize the three.dimensional spatial positioning of the center point on the prune fruit surface. The experimental results show that the prune fruit recognition model can realize the recognition of prune fruits in a variety of fruit growth and distribution scenarios，and its recognition F1 value is 95. 8% at the highest and 83. 2% at the lowest，the positioning method of fusion image and depth information has a good effect positioning effect，when the depth distance is less than 1 m，the positioning error of the algorithm in each axis is within 0. 005 m，when the distance is 1. 5 m， the maximum error is up to 0. 013 m，which can meet the requirements of recognition and positioning of prune fruit.

Key words: prune, object identification, three-dimensional positioning, information fusion, YOLOv7

中图分类号:

熊明明 , 李晓娟 , . 基于图像与深度信息融合的西梅果实识别定位方法[J]. 中国农机化学报, 2024, 45(9): 172-177.

Xiong Mingming, Li Xiaojuan, . Recognition and positioning method of prune fruit based on fusion of image and depth information[J]. Journal of Chinese Agricultural Mechanization, 2024, 45(9): 172-177.

参考文献

［ 1］Benavides M，Cantón.Garbín M，Sánchez-Molina J A， et al. Automatic tomato and peduncle location system based on computer vision for use in robotized harvesting［J］. Applied Sciences，2020，10（17）：5887.

［ 2］王晓慧，周昆鹏 .自然环境中的红色番茄图像识别方法研究［ J］.浙江大学学报（农业与生命科学版）， 2021，47（3）：395-403.

Wang Xiaohui，Zhou Kunpeng. Research on recognition methods for red tomato image in the natural environment［J］. Journal of Zhejiang University（Agriculture and Life Sciences），2021，47（3）：395-403.

［ 3］熊俊涛，邹湘军，彭红星，等 .扰动柑橘采摘的实时识别与采摘点确定技术［ J］.农业机械学报， 2014，45（8）：38-43.

［ 4］梁喜凤，章艳 .串番茄采摘点的识别方法［ J］.中国农机化学报， 2016，37（11）：131-134，149.

Liang Xifeng，Zhang Yan. Recognition method of picking point for tomato cluster［J］. Journal of Chinese Agricultural Mechanization，2016，37（11）：131-134，149.

［ 5］Zheng C，Chen P，Pang J，et al. A mango picking vision algorithm on instance segmentation and key point detection from RGB images in an open orchard［J］. Biosystems Engineering，2021，206：32-54.

［ 6］毕松，高峰，陈俊文，等 .基于深度卷积神经网络的柑橘目标识别方法［ J］.农业机械学报， 2019，50（5）：181-186.

Bi Song， Gao Feng， Chen Junwen， et al. Detection method of citrus based on deep convolution neural network［J］. Transactions of the Chinese Society for Agricultural Machinery，2019，50（5）：181-186.

［ 7］何斌，张亦博，龚健林，等 .基于改进 YOLOv5的夜间温室番茄果实快速识别［ J］.农业机械学报， 2022，53（5）： 201-208.

He Bin，Zhang Yibo，Gong Jianlin，et al. Fast recognition of tomato fruit in greenhouse at night based on improved YOLOv5［J］. Transactions of the Chinese Society for Agricultural Machinery，2022，53（5）：201-208.

［ 8］宁政通，罗陆锋，廖嘉欣，等 .基于深度学习的葡萄果梗识别与最优采摘定位［ J］.农业工程学报， 2021，37（9）： 222-229.

Ning Zhengtong， Luo Lufeng， Liao Jiaxin， et al. Recognition and the optimal picking point location of grape stems based on deep learning［J］. Transactions of the Chinese Society of Agricultural Engineering， 2021， 37（9）：222-229.

［ 9］赵德安，吴任迪，刘晓洋，等 .基于 YOLO深度卷积神经网络的复杂背景下机器人采摘苹果定位［ J］.农业工程学报， 2019，35（3）：164-173.

Zhao De′an， Wu Rendi， Liu Xiaoyang， et al. Apple positioning based on YOLO deep convolutional neural network for picking robot in complex background［J］. Transactions of the Chinese Society of Agricultural Engineering，2019，35（3）：164-173.

［10］麦春艳，郑立华，孙红，等.基于 RGB-D相机的果树三维重构与果实识别定位［J］.农业机械学报， 2015，46（S1）：35-40.

Mai Chunyan，Zheng Lihua，Sun Hong，et al. Research on 3D reconstruction of fruit tree and fruit recognition and location method based on RGB-D camera［J］. Transactions of the Chinese Society for Agricultural Machinery，2015，46（S1）： 35-40.

［11］刘德儿，朱磊，冀炜臻，等 .基于 RGB-D相机的脐橙实时识别定位与分级方法［ J］.农业工程学报， 2022，38（14）：154-165.

Liu De′er， Zhu Lei， Ji Weizhen， et al. Real.time identification，localization，and grading method for navel oranges based on RGB-D camera［J］. Transactions of the Chinese Society of Agricultural Engineering，2022，38（14）：154-165.

［12］Malik M H，Qiu R，Gao Y，et al. Tomato segmentation and localization method based on RGB-D camera［J］. International Agricultural Engineering Journal，2020，28（4）：278-287.

［13］杨长辉，刘艳平，王毅，等 .自然环境下柑橘采摘机器人识别定位系统研究［ J］.农业机械学报， 2019，50（12）： 14-22，72.

Yang Changhui，Liu Yanping，Wang Yi，et al. Research and experiment on recognition and location system for citrus picking robot in natural environment［J］. Transactions of the Chinese Society for Agricultural Machinery，2019，50（12）：14-22，72.

［14］罗陆锋，邹湘军，叶敏，等 .基于双目立体视觉的葡萄采摘防碰空间包围体求解与定位［ J］.农业工程学报， 2016，32（8）：41-47.

Luo Lufeng，Zou Xiangjun，Ye Min，et al. Calculation and localization of bounding volume of grape for undamaged fruit picking based on binocular stereo vision［J］. Transactions of the Chinese Society of Agricultural Engineering，2016，32（8）：41-47.

［15］Wang C L，Tang Y C，Zou X J，et al. Recognition and matching of clustered mature litchi fruits using binocular charge.coupled device（CCD）color cameras［J］. Sensors， 2017，17（11）：2564.

［16］Cupec R， Filko D， Vidovi. I， et al. Point cloud segmentation to approximately convex surfaces for fruit recognition［C］. Proceedings of the Croatian Computer Vision Workshop，Zagreb，Croatia，2014：56-61.

［17］Zhang Fan， Gao Jin， Zhou Hang， et al. Three-dimensional pose detection method based on key points detection network for tomato bunch［J］. Computers and Electronics in Agriculture，2022，195：106824.

［18］冯青春，程伟，杨庆华，等 .基于线结构光视觉的番茄重叠果实识别定位方法研究［ J］.中国农业大学学报， 2015，20（4）：100-106.

Feng Qingchun， Cheng Wei， Yang Qinghua， et al. Identification and localization of overlapping tomatoes based on linear structured light vision system［J］. Journal of China Agricultural University，2015，20（4）：100-106.

［19］Wang C Y，Bochkovskiy A，Liao H Y M. YOLOv7： Train-able bag-of-freebies sets new state.of.the.art for real.time object detectors［J］. arXiv e.prints，2022.

[1]	苑迎春, 张傲, 何振学, 张若晨, 雷浩. 基于改进YOLOv4-tiny的果园复杂环境下桃果实实时识别[J]. 中国农机化学报, 2024, 45(8): 254-261.
[2]	张永宏, 李宇超, 董天天, 秦夏洋, 刘云平, 曹景兴. 非结构化环境下番茄采摘机器人目标识别与检测[J]. 中国农机化学报, 2024, 45(4): 205-213.
[3]	寇雷雷, 张红娜. 基于改进YOLOv5的苹果采摘机器人多目标识别技术研究[J]. 中国农机化学报, 2023, 44(11): 162-168.
[4]	王梁, 侯义锋, 贺杰. 基于Mask-RCNN的自然场景下油茶果目标识别与检测[J]. 中国农机化学报, 2022, 43(12): 148-154.
[5]	王宝梁, 沈文龙, 张宝玉. 农用无人车环境感知技术发展现状及趋势分析^*[J]. 中国农机化学报, 2021, 42(11): 214-221.
[6]	李斌飞;崔世钢;施国英;祖林禄;. 基于无迹卡尔曼滤波的农用无人机定位研究[J]. 中国农机化学报, 2020, 41(9): 156-161.
[7]	赵利平;吴德刚;. 融合GA的三点定位夜间苹果目标的识别算法研究[J]. 中国农机化学报, 2020, 41(5): 134-138.
[8]	赵继春;孙素芬;郭建鑫;钟瑶;乔珠峰;陈蕾;. 基于无线传感器网络的设施农业环境智能监测系统设计[J]. 中国农机化学报, 2020, 41(4): 146-151.
[9]	高文硕;宋卫东;王教领;王明友;吴今姬;. 果蔬菌采摘机械研究综述[J]. 中国农机化学报, 2020, 41(10): 9-15.
[10]	闫建伟;赵源;张乐伟;张富贵;. 基于残差网络的自然环境中刺梨果实的识别[J]. 中国农机化学报, 2020, 41(10): 191-196.