基于改进 Mask R-CNN的青菜杂质检测研究

doi:10.13733/j.jcam.issn.2095-5553.2024.09.012

摘要/Abstract

摘要：

绿叶蔬菜的智能包装加工是实现绿叶蔬菜智能化生产、降低生产成本的重要部分，对绿叶蔬菜在包装加工时的杂质检测是其重要前提。以青菜为研究对象，提出一种基于 Mask R-CNN的青菜杂质检测模型。首先采集标注掺杂枯树叶、枯菜叶和碎纸片 3种常见杂质的青菜图像 1 370多张，并通过数据增强的方法扩充建立含有 2 740张青菜杂质图像的数据集。为减少背景对杂质检测的影响，通过在 Mask R-CNN模型中加入协调注意力机制，同时添加全连接层和 Dropout层，增强模型特征提取能力，减少过拟合现象，并使用迁移学习方法对模型进行微调。结果表明改进后的 Mask R-CNN算法对青菜杂质识别的平均精度均值为 99. 19%，检测速度为 8. 45 FPS，检测效果良好，可以满足青菜杂质的检测需求。

关键词: 青菜, 杂质检测, Mask R-CNN, 迁移学习, 协调注意力

Abstract:

The intelligent packaging and processing of green leafy vegetables is an important part of realizing intelligent production of green leafy vegetables and reducing production costs. The detection of impurities in the packaging of green leafy vegetables is an important prerequisite. Taking vegetables as the research object，this paper proposes a vegetable impurity detection model based on Mask R-CNN. Firstly，more than 1 370 cabbage images were collected and labeled with 3 kinds of common impurities， including withered leaves， withered leaves and shredded paper. The data set containing 2 740 cabbage impurity images was expanded by the method of data enhancement. In order to reduce the influence of background on impurity detection，this paper add a coordinated attention mechanism，a fully connected layer and Dropout layer to the Mask R-CNN model，reduce over fitting and fine tune the model using transfer learning methods. The results show that the average accuracy of the improved Mask R-CNN algorithm for the identification of vegetable impurities is 99. 19%，the detection speed is 8. 45 FPS，and the detection effect is good，which can meet the detection requirements of vegetable impurities.

Key words: green vegetables, impurity detection, Mask R-CNN, transfer learning, coordinate attention

中图分类号:

赵爽, 俞永强, 苗玉彬, 刘可心 . 基于改进 Mask R-CNN的青菜杂质检测研究[J]. 中国农机化学报, 2024, 45(9): 77-82.

Zhao Shuang, Yu Yongqiang, Miao Yubin, Liu Kexin. Research of impurity detection of green vegetable based on improved Mask R-CNN[J]. Journal of Chinese Agricultural Mechanization, 2024, 45(9): 77-82.

参考文献

［ 1］肖体琼，崔思远，陈永生，等 .我国蔬菜生产概况及机械化发展现状［ J］.中国农机化学报，2017，38（8）： 107-111.

Xiao Tiqiong， Cui Siyuan， Chen Yongsheng， et al. Development status of vegetable production and its mechanization in China［J］. Journal of Chinese Agricultural Mechanization，2017，38（8）：107-111.

［ 2］张学杰 .我国蔬菜及其加工出口产业发展状况与对策［ J］.中国蔬菜， 2018（8）：1-7.

［ 3］罗印斌，蔡艳丽，兰菡，等 .农产品无损检测方法应用现状［ J］.食品工业科技， 2018，39（15）：340-344.

Luo Yinbin，Cai Yanli，Lan Han，et al. Application status of nondestructive testing methods for agricultural products［J］. Science and Technology of Food Industry，2018，39（15）： 340-344.

［ 4］张猛，张昕明，高铭萱，等 .基于红外光谱的苹果糖度无损检测系统［ J］.电子技术与软件工程， 2017（5）：126.

［ 5］王转卫 .基于介电频谱与光谱技术的水果内部品质无损检测方法研究［ D］.咸阳：西北农林科技大学， 2018.

［ 6］李跑，申汝佳，李尚科，等 .一种基于近红外光谱与化学计量学的绿茶快速无损鉴别方法［ J］.光谱学与光谱分析， 2019，39（8）：2584-2589.

Li Pao，Shen Rujia，Li Shangke，et al. Nondestructive identification of green tea based on near infrared spectroscopy and chemometric methods［J］. Spectroscopy and Spectral Analysis，2019，39（8）：2584-2589.

［ 7］李尚科，杜国荣，丁胜华，等 .近红外光谱结合化学计量法快速无损鉴别燕麦［ J］.食品与机械， 2019，35（2）： 72-76.

Li Shangke，Du Guorong，Ding Shenghua，et al. Rapid and non.estructive identification of different brands and inferior oats by near infrared spectroscopy combined with chemometrics methods［J］. Food and Machinery，2019， 35（2）：72-76.

［ 8］胡双齐 .生菜叶片重金属镉含量便携式光谱无损检测仪设计与试验［ D］.镇江：江苏大学， 2021.

［ 9］孙涛 .超声波技术在食品检测中的应用分析［ J］.食品安全导刊， 2022（22）：147-149. Sun Tao. Application analysis of ultrasonic technology in food testing［J］. China Food Safety，2022（22）：147-149.

［10］王振，谢宝源 .磁粉检测方法在液压震击器缺陷检测中的应用［ J］.工程技术研究， 2022，7（14）：99-101.

Wang Zhen，Xie Baoyuan. Application of magnetic particle detection method in defect detection of hydraulic jars［J］. Engineering and Technological Research，2022，7（14）： 99-101.

［11］黄建平，陈镜旭，李克新，等 .基于神经结构搜索的多种植物叶片病害识别［ J］.农业工程学报， 2020，36（16）： 166-173.

Huang Jianping， Chen Jingxu， Li Kexin， et al. Identification of multiple plant leaf diseases using neural architecture search［J］. Transactions of the Chinese Society of Agricultural Engineering， 2020， 36（16）： 166-173.

［12］李亚文，张军，陈月星 .基于 K-means和特征提取的植物叶部病害检测与实现［ J］.陕西农业科学， 2021，67（6）：33-37，41.

Li Yawen，Zhang Jun，Chen Yuexing. Detection of plant leaf diseases based on K-means and feature extraction［J］. Shaanxi Journal of Agricultural Sciences， 2021， 67（6）：33-37，41.

［13］陈自宏，邓干然，崔振德，等 .基于深度学习的农作物检测识别研究现状及展望［J］.现代农业装备， 2022，43（2）：2-7.

［14］Yuan Yuan， Chen Lei， Wu Huarui， et al. Advanced agricultural disease image recognition technologies： A review［J］. Information Processing in Agriculture，2022，9（1）：48-59.

［15］Abbas S S Z，Samar M A，Asra A，et al. A survey of modern deep learning based object detection models［J］. Digital Signal Processing，2022，126.

［16］Solemane C，Bernard K，Dantouma K，et al. Deep learning for precision agriculture： A bibliometric analysis［J］. Intelligent Systems with Applications，2022，16.

［17］谢丽娟，戴犇辉，洪友君，等 .基于全卷积神经网络的核桃异物检测装备设计与试验［ J］.农业机械学报， 2022， 53（5）：385-391.

Xie Lijuan，Dai Benhui，Hong Youjun，et al. Design and test of detecting system for impurities in walnut based on full convolutional neural network algorithm［J］. Transactions of the Chinese Society for Agricultural Machinery，2022，53（5）：385-391.

［18］Esgario G J，Krohling A R，Ventura A J. Deep learning for classification and severity estimation of coffee leaf biotic stress［J］. Computers and Electronics in Agriculture， 2020：169105162-105162.

［19］王春山，周冀，吴华瑞，等 .改进 Multi.cale ResNet的蔬菜叶部病害识别［J］.农业工程学报， 2020，36（20）：209-217.

Wang Chunshan，Zhou Ji，Wu Huarui，et al. Identification of vegetable leaf diseases based on improved Multi-cale ResNet［J］. Transactions of the Chinese Society of Agricultural Engineering，2020，36（20）：209-217.

［20］孙哲，张春龙，葛鲁镇，等 .基于 Faster R-CNN的田间西兰花幼苗图像检测方法［ J］.农业机械学报， 2019，50（7）：216-221.

Sun Zhe， Zhang Chunlong， Ge Luzhen， et al. Image detection method for broccoli seedlings in field based on Faster R-CNN［J］. Transactions of the Chinese Society for Agricultural Machinery， 2019， 50（7）： 216-221.
［21］钟昌源，胡泽林，李淼，等 .基于分组注意力模块的实时农作物病害叶片语义分割模型［ J］.农业工程学报， 2021，37（4）：208-215.

Zhong Changyuan，Hu Zelin，Li Miao，et al. Real-time semantic segmentation model for crop disease leaves using group attention module［J］. Transactions of the Chinese Society of Agricultural Engineering， 2021， 37（4）： 208-215.
［22］钟伟镇，刘鑫磊，杨坤龙，等 .基于 Mask-RCNN的复杂背景下多目标叶片的分割和识别［ J］.浙江农业学报， 2020，32（11）：2059-2066.

Zhong Weizhen， Liu Xinlei， Yang Kunlong， et al. Research on multi-arget leaf segmentation and recognition algorithm under complex background based on Mask-RCNN［J］. Acta Agriculturae Zhejiangensis，2020，32（11）：2059-2066.
［23］He K，Gkioxari G，Dollár P，et al. Mask R-CNN［J］. IEEE Transactions on Pattern Analysis & Machine Intelligence，2017.
［24］尚钰莹，张倩如，宋怀波 .基于 YOLOv5s的深度学习在自然场景苹果花朵检测中的应用［ J］.农业工程学报， 2022，38（9）：222-229.

Shang Yuying，Zhang Qianru，Song Huaibo. Application of deep learning based on YOLOv5s to apple flower detection in natural scenes［J］. Transactions of the Chinese Society of Agricultural Engineering， 2022， 38（9）： 222-229.
［25］岳有军，田博凯，王红君，等 .基于改进 Mask RCNN的复杂环境下苹果检测研究［ J］.中国农机化学报， 2019， 40（10）：128-134.

Yue Youjun，Tian Bokai，Wang Hongjun，et al. Research on apple detection in complex environment based on improved Mask RCNN［J］. Journal of Chinese Agricultural Mechanization，2019，40（10）：128-134.

[1]	韩鹏飞, 宋其江, 贾梦实. 基于改进轻量化 EfficientNet-V2模型的小麦种子分类[J]. 中国农机化学报, 2024, 45(9): 111-117.
[2]	付晓鸽, 李涵, 左治江, 杜铮 . 基于 Mask R-CNN的复杂环境下辣椒识别方法研究[J]. 中国农机化学报, 2024, 45(9): 215-219.
[3]	宋小鹿 , 冯娟 , 梁翔宇 , 周玺兴 . 基于 YOLOv4的水下海参检测与计数算法[J]. 中国农机化学报, 2024, 45(9): 258-264.
[4]	苏斐, 王光辉, 史艳霞, 贾然, 闫银发, 祖林禄, . 融合通道注意力机制的ResUnet作物病斑分割模型[J]. 中国农机化学报, 2024, 45(8): 228-233.
[5]	郭宏杰, 马睿, 王佳, 赵威, 马德新. 基于卷积神经网络的苹果叶部病害图像识别研究[J]. 中国农机化学报, 2024, 45(5): 239-245.
[6]	刘可心, 赵爽, 苗玉彬. 基于SSA-Kmeans聚类算法的青菜杂质图像分割[J]. 中国农机化学报, 2024, 45(2): 151-156.
[7]	白玉鹏, 冯毅琨, 李国厚, 赵明富, 周浩宇, 侯志松, . 基于Vision Transformer的小麦病害图像识别算法[J]. 中国农机化学报, 2024, 45(2): 267-274.
[8]	封顶浩, 孙新平, 齐新丹, 李骅, 张笑语, 王永健, . 一器三行小青菜精量排种器设计与优化[J]. 中国农机化学报, 2024, 45(10): 39-47.
[9]	汪健, 梁兴建, 雷刚. 基于深度残差网络与迁移学习的水稻病虫害图像识别[J]. 中国农机化学报, 2023, 44(9): 198-204.
[10]	吴潇, 杨颖, 刘刚, 张倩, 宁远霖. 基于迁移学习和改进ResNet34的猪个体识别方法[J]. 中国农机化学报, 2023, 44(9): 214-221.
[11]	余胜, 谢莉. 基于迁移学习和卷积视觉转换器的农作物病害识别研究[J]. 中国农机化学报, 2023, 44(8): 191-197.
[12]	李平, 马玉琨, 李艳翠, 冯继克, 赵明富. 基于迁移学习的小麦籽粒品种识别研究[J]. 中国农机化学报, 2023, 44(7): 220-228.
[13]	惠巧娟, 马伟, 边超. 融合强化注意力机制的农田杂草识别方法[J]. 中国农机化学报, 2023, 44(4): 195-201.
[14]	王晓婷, 赵展, 王阳, 李林, . 基于改进Mask R-CNN的植物表型智能检测算法[J]. 中国农机化学报, 2022, 43(8): 151-157.
[15]	王浩屹, 孙新平, 陈曦, 李骅, 王永健, . 气吸式小青菜精密排种器设计与试验[J]. 中国农机化学报, 2022, 43(6): 51-57.