张国忠，吕紫薇，刘浩蓬，刘婉茹，龙长江，黄成龙
基于改进DenseNet和迁移学习的荷叶病虫害识别模型
张国忠1,2，吕紫薇1,2，刘浩蓬1,2，刘婉茹1,2，龙长江1,2，黄成龙1,3※
（1. 华中农业大学工学院，武汉 430070；
2. 农业农村部长江中下游农业装备重点实验室，武汉 430070；
3. 华中农业大学作物遗传改良国家重点实验室，武汉 430070）
病虫害的发生将会严重影响莲藕品质与产量，开展病害诊断与识别对藕田病虫害及时对症对病诊治、提升莲藕生产质量与经济效益具有重要意义。该研究以荷叶病虫害高效、准确识别为目标，提出了一种基于改进DenseNet和迁移学习的荷叶病虫害识别模型。采用分支结构对模型的浅层特征提取模块进行改进，并在Dense Block与TransitionLayer中引入Squeeze and Excitation注意力机制模块和锐化的余弦卷积，最后基于Plantvillage数据集进行迁移学习，实现了91.34%的识别准确率。该研究实现了对荷叶腐败病、病毒病、斜纹夜蛾、叶腐病、叶斑病的识别，并将改进后的模型推广应用于基于无人机图像的藕田病虫害检测，实现了病害分布可视化，可对莲藕病虫害的智能化防治提供有益指导。
模型；
无人机；
病虫害识别；
荷叶；
DenseNet；
注意力机制；
余弦相似度；
迁移学习
莲又名荷、莲藕，是中国重要的水生蔬菜，其根茎、叶、花、种子均具有较高的食用与观赏价值[1-3]。随着生活水平的提升和饮食多样化的发展，人们对绿色、高产、高品质农产品的需求日益提升。近年来，腐败病、病毒病、斜纹夜蛾等病虫害高发，其中腐败病可导致莲藕减产40%以上，病虫害的发生将严重影响莲藕的品质与产量[4-5]。莲为大面积水田作物，其独特的农艺和生长特点使得田间穿行困难，不利于病虫害的监测与识别，加大了病虫害的防控难度。目前，莲的病虫害鉴别主要依赖人工判别与病原检测技术。人工判别主观性强，而病原检测存在成本高、采样难度大等不足之处，且多数种植户缺乏专业的病虫害防治知识，无法实现对莲病虫害的准确判别。随着人工智能技术与农业的融合，基于机器学习与模式识别的图像分类、目标检测等技术在植物病害检测中得到广泛应用，对提升识别效率与降低病虫害防控成本具有显著成效。
叶片病斑的颜色和形态特征是病害识别的重要依据[6]。莲虽为根茎类作物，但病虫害特征主要集中于叶片，叶片感染不同病害时具有不同的颜色、形态特征[7-8]，因此荷叶的生长状态可以反映莲病虫害的发生情况[9]。传统机器学习方法利用图像处理技术提取叶片病斑的颜色、形状、纹理等特征进行植物病害识别，其分类性能依赖于病斑特征的提取效果，且算法具有专用性，泛化能力较差[10]。深度学习技术通过自动提取图像特征可快速、准确实现病虫害识别，近年来被广泛应用于植物病虫害识别领域，并取得了优异成果。如黄建平等[11]提出一种基于神经结构搜索的植物叶片病害识别方法，根据特定数据集自动学习、搜索合适的深度神经网络结构，实现了叶片病害的分类识别。XU等[12]通过引入自约束注意力增强分支改进X-ception模型，增强了模型对局部特征的提取能力，实现了对花生病害的识别。以上研究的数据集均在背景单一、环境条件一致的实验室内采集，而实际田间环境存在背景复杂、光照条件不一致、遮挡等干扰因素。田间环境下获取的数据集比实验室条件下的数据集其模型识别准确率低约30%～40%[13]。提高应用于田间病虫害识别的模型性能有利于病虫害自动识别技术的推广与应用。复杂背景中存在与疾病特征相似的元素导致病害识别难度增加，为解决该问题，丁永军等[14]以VGG-16模型为基础构建卷积胶囊网络对百合病害进行识别，提升了模型的抗噪能力，更适用于实际生产环境。孙俊等[15]通过多尺度特征融合、嵌入坐标注意力机制等设计手段改善了MobileNet-V2中存在的感兴趣区域分散以及特征提取尺度单一等问题。苏仕芳等[16]采用TensorFlow_Lite将模型部署到智能手机移动终端，实现了移动端对葡萄叶片病害的快捷、智能化诊断。ZHOU等[17]提出一种基于区域提议和渐进学习的PRPNet模型，以98.26%的平均识别准确率实现了复杂背景下蔬菜病害的识别。彭红星等[18]在MobileNet V2的反向残差模块中嵌入坐标注意力机制，并采用深度可分离卷积设计了双分支特征融合模块，能快速实现葡萄病虫害的识别。徐艳蕾等[19]采用双分支结构对图像的局部特征与全局特征进行融合，在自然环境下苹果叶片病害的识别精度达到80%。目前，基于CNN对作物病害自动识别的研究主要集中于番茄、苹果、玉米、水稻、黄瓜、小麦等[12,20-22]，以水生蔬菜病虫害智能识别为例，现有研究主要集中于芋头病害的识别，如陈林琳等[23]和王佳[24]基于机器学习方法分别实现了对芋头和香芋病害的识别，仍缺乏莲藕病虫害智能化识别的相关研究。
荷叶病虫害特征具有一定的相似性，轻症病害特征不显著，受复杂水田环境与光照条件等因素的影响增加了病虫害识别难度，基于深度学习技术进行荷叶病虫害的自动识别可以提升藕田病虫害的防控效率。本文基于DenseNet[25]模型结构进行改进，通过引入多层小卷积提升感受野，提升浅层网络的特征表达能力；
引入SE（squeeze and excitation）注意力机制模块[26]提升对病害特征的学习能力；
采用锐化的余弦卷积（sharpened cosine similarity convolution，SCS）[27]代替传统卷积以避免梯度爆炸，减小方差；
通过迁移学习模型在Plantvillage数据集上的知识提升模型的收敛速度避免过拟合。经过以上改进，期冀提升模型对细节特征的提取能力和抗干扰能力，从而实现对荷叶病虫害的快速识别与检测。
1.1 数据采集
荷叶主要病虫害与特征描述如表1所示。为提升模型对不同来源数据的泛化能力，本研究于2022年6—9月在国家种质武汉水生蔬菜资源圃、武汉市江夏区武当村，采用多种设备进行数据采集。采用大疆御MAVIC2无人机采集藕田内部图像，为保留叶片病害特征结合莲藕种植农艺特点，将飞行高度设置为距离荷叶冠层3 m；
采用2 000万像素的佳能EOS6D数码相机，以及OnePlus 6T、小米8智能手机距离荷叶冠层1～2 m在田边进行数据采集，共获取6类荷叶病虫害图片2 295张，其中腐败病322张、病毒病327张、叶斑病382张、叶腐病490张、斜纹夜蛾302张、健康叶片472张，数据集示例如图1所示。
表1 荷叶主要病虫害及其特征
图1 荷叶病虫害图像示例
1.2 数据预处理
由于采集的原始图像来自不同设备，图像分辨率大小不一致且包含过多冗余信息，对原始数据进行裁剪并将大小统一调整为300×300像素。为提升模型泛化能力，避免测试集内数据信息带入训练集，将数据集按6∶4的比例随机划分为训练集和测试集。
数据增强按照数据存储方式可分为离线数据增强和在线数据增强两种。离线数据增强将数据集进行扩增后存储在磁盘中，大量数据扩增会增加存储成本；
在线数据增强又称动态数据增强，其使用生成器在训练期间对即将喂入网络的数据进行动态变换，扩充后的数据直接喂入网络而不进行存储，降低了存储成本[28]。本文采用在线数据增强的方法对读取的数据进行数据变换。由于数据增强中包含随机因子，因此每轮次读取的数据均不同从而达到数据增强效果。数据集大小影响模型的泛化能力，相同数据集采用不同的数据增强策略对模型性能提升效果不同[29]。采用缩放（resize）、随机裁剪（random resized crop，RRC）、随机旋转（random rotation，RR）、随机水平翻转（random horizontal flip，RHF）、随机调整锐度（random adjust sharpness，RAS）共5种数据增强方法进行组合，以探究不同数据增强方式对荷叶病害数据集的模型性能影响。
1.3 荷叶病害分类模型比较
深度学习模型通过构建深层网络结构实现端到端的自动学习[30]。AlexNet[31]、VGG[32]、ResNet[33]、ResNeXt[34]、DenseNet等深度学习模型广泛应用于图像识别领域。为选择性能最优模型进行改进，本文采用相同的训练策略进行试验。为适应模型大小将图片统一缩放至224×224像素并进行归一化，受硬件条件约束批处理大小（Batch-size）设置为16，模型迭代次数共100 epoch，初始学习率设为0.01，每经过30 epoch，学习率衰减为原来的0.1，所采用随机梯度下降（stochastic gradient descent，SGD）优化器。在自建的荷叶病虫害数据集上对VGG-16、AlexNet、ResNet50、ResnNeXt50、DenseNet121模型进行训练，模型准确率分别为66.23%、75.55%、76.32%、78.18%、81.47%。模型准确率与损失曲线如图2所示，VGG-16的损失值最快收敛到稳定状态，但模型准确率较低，DenseNet121准确率最高且损失值在第65 epoch后逐渐到达稳定状态，故本文基于DenseNet121（下文简述为DenseNet）模型进行改进。
图2 模型性能比较
1.4 DenseNet模型结构改进
DenseNet通过建立层与层之间的密集连接将前面所有层的特征图作为该层的输入，在很大程度上解决了深度卷积网络梯度消失的问题，加强了特征的传递和重用。密集连接的正则化效应在一定程度上可以降低小数据集的过拟合问题。此外，由于不需要重新学习冗余的特征映射，减少了网络的参数量。
1.4.1 Stem模块
浅层网络可以实现对图像边缘、细节纹理等信息的提取。如图3a所示，Stem-A为DenseNet的Stem模块，由步长为2的7×7卷积层和步长为2的3×3最大池化组成。如图3b所示，Stem-B在1×1卷积前添加步长为2的最大池化作为新添加路径，可减少特征丢失，提升模型性能[35]。如图3c所示，参考VGG网络采用3个3×3的卷积堆叠代替7×7卷积可以获得更大感受野，提升特征的表达能力。为提升浅层网络对图像的边缘、纹理等特征的提取能力，采用步长为2的3×3卷积进行快速降维，然后通过分支结构将3×3卷积与最大池化组合，再利用1×1的卷积进行降维，以较少的计算开销提升模型的准确率[36]，如图3d所示。
1.4.2 锐化的余弦卷积
传统的多层神经网络使用上一层的输出向量与输入权重向量的点积作为激活函数的输入，神经元的方差较大使模型对输入分布的变化敏感，泛化效果差，并加剧了内部协变量的移位，从而降低了训练速度。将余弦相似度与卷积网络相结合，通过余弦归一化[37]（cosine normalization）（如式（1）所示）将激活函数限制在-1～1，可避免梯度爆炸，减小方差。两个完全不同的输入向量可能具有相似的余弦相似度，且当输入接近0时，余弦相似度在数值上会变得不稳定。因此，本文采用锐化的余弦卷积作为传统卷积的一种替代方案。锐化的余弦相似度（sharpened cosine similarity，SharpCosSim）如式（2）所示，通过添加两个超参数和进一步改进余弦相似度。余弦相似度的峰值为1，利用参数以把余弦相似度提高到指数次方，在输入向量中添加另一个参数即预期本底噪声的大小，将防止匹配项对噪声进行注册，将锐化的余弦相似度与卷积相结合，即引入锐化的余弦卷积（SCS）具有更好的特征提取能力。
注：conv代表卷积；
1×1、3×3、7×7为卷积核尺寸；
2×2为池化核尺寸；
s为步长；
p为边界扩充；
maxpool为最大池化。下同。
1.4.3 Squeeze and Excitation注意力机制模块
SE注意力机制在注意力模式下可以确定不同通道之间的权重关系，提升对感兴趣通道的注意力，其结构如图4所示，SE注意力机制模块通过全局平均池化对特征图进行压缩，实现全局上下文信息的融合，然后通过全连接层→线性整流函数（Rectified linear units，Relu）→全连接层→Sigmoid激活函数（Sigmoid）生成每个特征通道的权重，最后将原始输入的特征图与获得的通道权重进行点乘，在通道维度上实现对特征的标定。
注：H、W、C分别表示图像的高、宽、通道数，FC表示全连接层。下同。
改进前后模型结构对比如表2所示，DenseNet由Stem模块、4个Dense Block和3个Transition Layer组成。本文将DenseNet的Stem模块（Stem-A如图3a所示）改为具有更大感受野的Stem-D（如图3d所示），通过分支结构以较小的计算开销提升模型对浅层特征的提取能力；
将Dense Block与Transition Layer内的卷积更换为锐化的余弦卷积可以提升模型的泛化能力和对边缘等特征的提取能力；
在Dense Block每个Denselayer的1×1卷积前以及Transition Layer内引入SE注意力机制模块以提升模型对通道特征的敏感性。
表2 模型结构
注：SE block为SE注意力机制模块；
SCS为锐化的余弦卷积。
Note: SE block represents SE attention mechanism block; SCS represents sharpened cosine similarity convolution.
1.5 AdaMax优化器
采用随机梯度下降算法（stochastic gradient descent，SGD）时模型的收敛速度快，但选择合适的学习率较困难。学习率过小使模型收敛缓慢。学习率过高时模型收敛波动较大，容易收敛到局部最优解，且容易被困在鞍点。AdaMax是Adam（adaptive moment estimation）基于无穷范数的一种变体[38]。在Adam中，单个权重的更新规则是将其梯度与当前和过去梯度的2范数成反比例缩放。AdaMax是在Adam基础上将基于2范数的更新规则泛化到基于L范数的更新规则。AdaMax会因范数较大在数值上变得不稳定，但当范数→∞时，如式（3）所示，时刻的指数加权无穷范数u基于∞范数更新规则会得到一个简单、稳定的算法，学习率的边界范围更简单，且当初始值00时，不需要纠正初始化偏差。
1.6 试验设置与模型性能评价指标
所有试验均在Ubuntu 20.04 LTS 64位系统环境下运行，模型采用深度学习开源框架Pytorch1.10.1和Python3.8.0搭建。计算机搭载的处理器为Intel Core i7-10700K@3.80GHz八核，运行内存32 GB，GPU为GTX 3070Ti 8G。输入模型的图像尺寸大小为224×224像素，受硬件条件的约束，批处理大小（Batch-size）设置为16，模型迭代次数共100 epoch，初始学习率设置为0.01，采用余弦退火学习率更新策略。
本文采用准确率（Accuracy）、精确率（Precision）、召回率（Recall）、准确率与召回率加权调和平均值—1值（1-score）来衡量模型的分类性能，以上评价指标越高模型性能越好。
2.1 不同动态数据增强方式性能评估
采用SGD优化器对不同数据增强方式进行试验，结果如表3所示。方案2将图片先缩放至256×256像素再随机裁剪至224×224像素比直接缩放至224×224像素准确率提升1.43个百分点，图片缩放尺寸变化较大时可能丢失较多细节信息而降低模型识别效果；
在方案2的基础上引入随机水平翻转、随机旋转、随机调整锐度等不同数据增强方法后模型准确率均得到提升，其中随机调整锐度效果最佳。结果表明数据增强方案8效果最佳，准确率为85.01%。故选用方案8作为数据增强方案可减少图片过度缩放导致的细节信息丢失，同时对图片进行水平翻转和随机调整锐度以模拟不同的拍摄角度和质量可提升模型泛化能力。为验证AdaMax优化器的优越性，本研究基于数据增强方案8将SGD优化器替换为AdaMax优化器后模型的准确率为88.05%，较方案8提升了3.04个百分点，因此后续试验均采用该优化策略。
表3 不同数据增强方式下DenseNet准确率
注：Resize(224,224)：将原图像缩放至224×224像素；
Resize256：对图像的短边按原图长宽比统一缩放至256像素；
RRC：随机裁剪图像并将其调整至224×224像素；
RHF：以给定概率对图片进行随机水平翻转；
RR30：将图片随机旋转30°；
RAS：以给定概率随机调整图像锐度。
Note: Resize(224,224): Resize the input image to 224×224; Resize256: Uniformly resize the short edges of the image to 256 according to the aspect ratio of the original image; RRC: Random resized crop a random portion of image and resize it to 224×224; RHF: Random horizontal flip the given image randomly with a given probability; RR30: Random rotate the image by 30°; RAS: Random adjust the sharpness of the image randomly with a given probability.
2.2 荷叶病虫害识别最优Stem模块
为提升模型浅层网络的特征提取能力，在DenseNet中插入不同的Stem模块进行消融试验，结果如表4所示。引入Stem-B模块较原模型（DenseNet-Stem-A）的计算量和参数量变化较小，但模型准确率仅提升0.36个百分点。Stem-C扩大了模型的感受野，准确率提升1.10个百分点，但参数量提升了0.07 M，计算量提升0.84 G。引入Stem-D比原模型的准确率提高1.10个百分点，参数量和计算量仅分别增加0.02 M、0.02 G，该模块在不过多增加计算量和参数量的基础上提升了模型的特征提取能力。
2.3 DenseNet优化策略消融试验
1）DenseNet模型引入不同模块的消融试验结果如表 5所示。在DenseNet中引入锐化的余弦卷积（SCS）比表4原模型的准确率和1值分别提升0.99、1.18个百分点，验证了锐化的余弦卷积能够提升模型对特征的提取能力，引入SE注意力机制模块后模型性能稍有提升。DenseNet-SE-SCS-Stem-D将SCS、SE注意力机制模块、Stem-D模块进行组合，模型的准确率、精确率、召回率、F1值分别提升至90.13%、91.33%、89.82%、90.05%。
迁移学习可以减小模型训练的代价，让卷积神经网络更适应小样本数据，提升模型的泛化能力。基于Plantvillage数据集对DenseNet-SE-SCS-Stem-D进行迁学习，学习率设置为0.001，进行迁移学习后模型的准确率、精确率、召回率、1值分别为91.34%、91.43%、91.23%、91.29%，进一步提升了模型的性能，其中准确率较优化前表3方案1提升9.87个百分点。
表4 引入不同Stem模块的模型性能比较
表5 不同改进方法模型性能对比
2）为验证迁移学习后模型的性能，测试集的混淆矩阵如图5所示，通过比较混淆矩阵中主对角线上预测正确的样本量可知，改进后的模型提升了对各类病害的识别能力，模型对健康荷叶、叶斑病、病毒病识别准确率分别提升了11.70、17.11、20.77个百分点。但模型将叶斑病错误识别为病毒病的数量提升，推测是由于模型对细节纹理信息提取能力的增强，使得改进后模型将部分轻度卷曲且光照不均的叶斑病错误识别为病毒病。
注：0为腐败病；
1为健康叶片；
2为斜纹夜蛾；
3为叶斑病；
4为叶腐病，5为病毒病。下同。
3）图6为模型改进前后病害预测结果示例和类激活特征图可视化结果，图中9个特征图依次为表2模型结构图中8个Layers和模型最后一个Batch Normalization（BN）层的类激活特征图。改进后模型的浅层卷积对叶片细节纹理信息的提取能力提升，能更好地实现对细小病斑的识别。改进后模型能更加准确地判断病斑在叶片上的发生区域，如对腐败病更加关注叶片边缘特征，对叶斑病、斜纹夜蛾、叶腐病更加关注叶片内部病斑区域，对幼嫩健康叶片与病毒病则更关注全局信息。
注：pred_label代表图片的预测类别标签，True label表示图片的真实类别标签，pred_score表示预测为该类别的概率，pred_class表示预测标签对应的病害类别。
2.4 基于无人机图像的藕田病虫害识别
采用大疆御MAVIC2无人机将飞行高度设置为6.5 m拍摄藕田图片，并对荷叶图片的叶片区域进行标定获取叶片的坐标信息。批量读取叶片的坐标信息并对图片进行裁剪，将裁剪后的图片送入迁移学习后的DenseNet-SE-SCS-Stem-D模型进行推理预测，并根据预测结果在无人机图片的相应坐标区域添加不同颜色掩膜以生成藕田荷叶病虫害分布图，如图7所示。
通过荷叶病虫害分布图可以直观了解到藕田内各类病害的分布情况与严重程度，实现藕田内荷叶病虫害的评估。根据荷叶标定数据与推理结果可获取区域内各类病害的发生比例，其中病毒病为1.86%，腐败病为19.25%，健康为32.30%，叶斑病为27.33%，斜纹夜蛾为9.94%，叶腐病9.32%。在后期研究中可将目标检测网络与荷叶病虫害分类识别网络相结合，先对荷叶进行自动提取，再利用分类网络进行识别以降低复杂田间背景对不同病害识别的影响，以实现大面积藕田的病虫害识别与动态监测。
图7 藕田荷叶病虫害分布图
本文提出了一种基于改进DenseNet和迁移学习的荷叶病虫害识别模型，并将其应用于基于无人机图像的藕田荷叶病虫害检测，得出以下结论：
1）采用动态数据增强，对不同数据增强组合方法进行比较，结果表明对图片先缩放再随机裁剪比直接缩放至相同大小模型的准确率更高，大幅度进行图片缩放可能会导致图片部分细节信息丢失，影响模型识别效果。随机缩放、随机裁剪、随机旋转、随机调整锐度的数据增强方式相组合更具优势。
2）在DenseNet模型的Dense Block模块和Transition模块中引入锐化的余弦卷积，验证了锐化的余弦卷积提升模型性能的有效性；
通过优化模型浅层特征提取模块，引入Squeeze and Excitation注意力机制模块提升了模型对细节特征的提取能力和对病害的识别能力。荷叶病虫害的识别准确率达到91.34%。
3）将改进后的分类模型应用于无人机图片进行藕田内荷叶病虫害识别。对荷叶所在区域标定裁剪后进行分类识别，并根据模型预测结果生成不同掩膜添加在无人机图片上生成藕田荷叶病虫害分布图，实现了藕田荷叶病虫害的识别，解决了藕田内部病虫害监测困难的问题，为藕田的病虫害识别与动态监测奠定基础。
本文实现了对荷叶病虫害的自动分类识别，为高效、准确、动态监测藕田病虫害提供了新方法，为藕田植保无人机的变量施药和飞行路径规划提供了信息支撑。
[1] 李峰，周雄祥，柯卫东，等. 湖北省莲产业发展调研报告[J]. 湖北农业科学，2020，59(23)：101-106. LI Feng, ZHOU Xiongxiang, KE Weidong, et al. Research report on lotus industry development in Hubei province[J]. Hubei Agricultural Sciences, 2020, 59(23): 101-106. (in Chinese with English abstract)
[2] 程婷婷，惠小涵，尚欣欣，等. 10个产地莲藕营养成分分析与品质综合评价[J]. 食品工业科技，2021，42(8)：320-325. CHENG Tingting, XI Xiaohan, SHANG Xinxin, et a1. Nutrient composition analysis and quality comprehensive evaluation of lotus root in 10 producing areas[J]. Science and Technology of Food Industry, 2021, 42(8): 320-325. (in Chinese with English abstract)
[3] 贾彩凤，时江蕾，周敬娜，等. 白洋淀地区水生药用植物资源开发利用研究进展[J]. 医学研究与教育，2019，36(1)：28-33. JIA Caifeng, SHI Jianglei, ZHOU Jingna, et al. Advances on exploitation of aquatic medicinal plant resources in Baiyangdian Lake[J]. Medical Research and Education, 2019, 36(1): 28-33. (in Chinese with English abstract)
[4] 魏林，梁怀志. 莲藕病虫草害识别与综合防治[M]. 北京：中国农业科学技术出版社，2013.
[5] 唐光美，杨馨语，张小乐，等. 莲藕腐败病致病菌的鉴定与防治[J]. 云南大学学报（自然科学版），2022，44(6)：1280-1287. TANG Guangmei, YANG Xinyu, ZHANG Xiaole, et al. Identification and control of pathogenic fungi of lotus rhizome rot[J]. Journal of Yunnan University (Natural Sciences Edition), 2022, 44(6): 1280-1287. (in Chinese with English abstract)
[6] 于明，李若曦，阎刚，等. 基于颜色掩膜网络和自注意力机制的叶片病害识别方法[J]. 农业机械学报，2022，53(8)：337-344. YU Ming, LI Ruoxi, YAN Gang, et al. Crop diseases recognition method via fusion color mask and self-attention mechanism[J]. Transactions of the Chinese Society for Agricultural Machinery, 2022, 53(8): 337-344. (in Chinese with English abstract)
[7] 吕佩珂，苏慧兰，高振江. 多年生蔬菜水生蔬菜病虫害诊治原色图鉴[M]. 北京：化学工业出版社，2013.
[8] 高泽普. 不同设施栽培模式对莲藕生长发育的影响及腐败病防治效果研究[D]. 邯郸：河北工程大学，2021. GAO Zepu. The Effect of Different Cultivation Modes on the Growth and Development of Lotus Root and the Study on the Control Effectiveness of Lotus Rot Disease[D]. Handan: Hebei University of Engineering, 2021. (in Chinese with English abstract)
[9] 丁自立，吴金平，刁英，等. 莲藕主要病害及其综合防治[J]. 湖北农业科学，2011，50(15)：3078-3079. DING Zili, WU Jinping, DIAO Ying, et al. The main disease and comprehensive prevention of[J]. Hubei Agricultural Sciences, 2011, 50(15): 3078-3079. (in Chinese with English abstract)
[10] 孙亮，柯宇航，刘辉，等. 计算机视觉技术在植物病害识别上的研究进展[J]. 热带生物学报，2022，13(6)：651-658. SUN Liang, KE Yuhang, LIU Hui, et al. Advances in recognition of plant diseases based on computer vision[J]. Journal of Tropical Biology, 2022, 13(6): 651-658. (in Chinese with English abstract)
[11] 黄建平，陈镜旭，李克新，等. 基于神经结构搜索的多种植物叶片病害识别[J]. 农业工程学报，2020，36(16)：166-173. HUANG Jianping, CHEN Jingxu, LI Kexin, et al. Identification of multiple plant leaf diseases using neural architecture search[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(16): 166-173. (in Chinese with English abstract)
[12] XU L, CAO B, NING S, et al. Peanut leaf disease identification with deep learning algorithms[J]. Molecular Breeding, 2023, 43(4): 25.
[13] ABADE A, FERREIRA PA, DE BARROS V F. Plant diseases recognition on images using convolutional neural networks: A systematic review[J]. Computers and Electronics in Agriculture, 2021, 185: 106125.
[14] 丁永军，张晶晶，李民赞. 基于卷积胶囊网络的百合病害识别研究[J]. 农业机械学报，2020，51(12)：246-251. DING Yongjun, ZHANG Jingjing, LI Minzan. Disease detection of lily based on convolutional capsule network[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(12): 246-251. (in Chinese with English abstract)
[15] 孙俊，朱伟栋，罗元秋，等. 基于改进 MobileNet-V2 的田间农作物叶片病害识别[J]. 农业工程学报，2021，37(22)：161-169. SUN Jun, ZHU Weidong, LUO Yuanqiu, et al. Recognizing the diseases of crop leaves in fields using improved Mobilenet-V2[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(22): 161-169. (in Chinese with English abstract)
[16] 苏仕芳，乔焰，饶元. 基于迁移学习的葡萄叶片病害识别及移动端应用[J]. 农业工程学报，2021，37(10)：127-134. SU Shifang, QIAO Yan, RAO Yuan. Recognition of grape leaf diseases and mobile application based on transfer learning[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(10): 127-134. (in Chinese with English abstract)
[17] ZHOU J, LI J, WANG C, et al. A vegetable disease recognition model for complex background based on region proposal and progressive learning[J]. Computers and Electronics in Agriculture, 2021, 184: 106101.
[18] 彭红星，徐慧明，刘华鼐，等. 融合双分支特征和注意力机制的葡萄病虫害识别模型[J]. 农业工程学报，2022，38(10)：156-165. PENG Hongxing, XU Huiming, LIU Huanai, et al. Model for identifying grape pests and diseases based on two-branch feature fusion and attention mechanism[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(10): 156-165. (in Chinese with English abstract)
[19] 徐艳蕾，孔朔琳，陈清源，等. 基于Transformer的强泛化苹果叶片病害识别模型[J]. 农业工程学报，2022，38(16)：198-206. XU Yanlei, KONG Shuolin, CHEN Qingyuan, et al. Model for identifying strong generalization apple leaf disease using Transformer[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(16): 198-206. (in Chinese with English abstract)
[20] 鲍文霞，孙庆，胡根生，等. 基于多路卷积神经网络的大田小麦赤霉病图像识别[J]. 农业工程学报，2020，36(11)：174-181. BAO Wenxia, SUN Qing, HU Gensheng, et al. Image recognition of field wheat scab based on multi-way convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(11): 174-181. (in Chinese with English abstract)
[21] 谢州益，冯亚枝，胡彦蓉，等. 基于 ResNet18 特征编码器的水稻病虫害图像描述生成[J]. 农业工程学报，2022，38(12)：197-206. XIE Zhouyi, FENG Yazhi, HU Yanrong, et al. Generating image description of rice pests and diseases using a ResNet18 feature encoder[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(12): 197-206. (in Chinese with English abstract)
[22] 贾兆红，张袁源，王海涛，等. 基于Res2Net和双线性注意力的番茄病害时期识别方法[J]. 农业机械学报，2022，53(7)：259-266. JIA Zhaohong, ZHANG Yuanyan, WANG Haitao, et al. Identification method of tomato disease period based on Res2Net and Bilinear attention mechanism[J]. Transactions of the Chinese Society for Agricultural Machinery, 2022, 53(7): 259-266. (in Chinese with English abstract)
[23] 陈林琳，姜大庆，蔡银杰，等. 基于计算机视觉的芋头病害监测与识别[J]. 农机化研究，2020，42(6)：224-229. CHEN Linlin, JIANG Daqing, CAI Yinjie, et al. Monitoring and identification of the taro disease based on the computer vision[J]. Journal of Agricultural Mechanization Research, 2020, 42(6): 224-229. (in Chinese with English abstract)
[24] 王佳. 计算机视觉在香芋病害检测中的应用研究[J]. 农机化研究，2020，42(8)：241-244. WANG Jia. The applied research of computer vision in the taro disease detection[J]. Journal of Agricultural Mechanization Research, 2020, 42(8): 241-244. (in Chinese with English abstract)
[25] HUANG G, LIU Z, VAN DER MAATEN L, et al. Densely connected convolutional networks[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), San Juan: IEEE, 2017: 4700-4708.
[26] HU J, SHEN L, SUN G. Squeeze-and-excitation networks[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Salt Lake City: IEEE, 2018: 7132-7141.
[27] RAPHAEL P. Sharpened cosine distance as an alternative for convolutions[EB/OL]. 2022[2022-01-06]. https: //www. rpisoni. dev/posts/cossim-convolution/
[28] JIA S, WANG P, JIA P, et al. Research on data augmentation for image classification based on convolution neural networks[C]//Chinese Automation Congress (CAC), Jinan: IEEE, 2017: 4165-4170.
[29] 甘雨，郭庆文，王春桃，等. 基于改进EfficientNet模型的作物害虫识别[J]. 农业工程学报，2022，38(1)：203-211. GAN Yu, GUO Qingwen, WANG Chuntao, et al. Recognizing crop pests using an improved EfficientNet model[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(1): 203-211. (in Chinese with English abstract)
[30] VISNOI V K, KUMAR K, KUMAR B. Plant disease detection using computational intelligence and image processing[J]. Journal of Plant Diseases and Protection, 2021, 128(1): 19-53.
[31] KRIZHEVSKY A, SUTSKEVER I, HINTON G E. Imagenet classification with deep convolutional neural networks[J]. Communications of the ACM, 2017, 60(6): 84-90.
[32] SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[C]//International Conference on Learning Representations (ICLR), San Diego: ICLR, 2015: 1-14.
[33] HE K, ZHANG X, REN S, et al. Deep residual learning for image recognition[C]//Proceedings of the IEEE conference on computer vision and pattern recognition (CVPR), Las Vegas: IEEE, 2016: 770-778.
[34] XIE S, GIRSHICK R, DOLLÁR P, et al. Aggregated residual transformations for deep neural networks[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), San Juan: IEEE, 2017: 1492-1500.
[35] HE T, ZHANG Z, ZHANG H, et al. Bag of tricks for image classification with convolutional neural networks[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Long Beach: IEEE, 2019: 558-567.
[36] WANG R J, LI X, LING C X. Pelee: A real-time object detection system on mobile devices[C]//Advances in neural information processing systems (NeurIPS), Montreal: Neural Information Processing Systems Foundation, 2018, 31: 1963-1972.
[37] LUO C, ZHAN J, XUE X, et al. Cosine normalization: Using cosine similarity instead of dot product in neural networks[C]//International Conference on Artificial Neural Networks (ICANN), Cham: Springer, 2018: 382-391.
[38] KINGMA D P, BA J. Adam: A Method for Stochastic Optimization[C]//International Conference for Learning Representations (ICLR), San Diego: ICLR, 2015: 1-13.
Model for identifying lotus leaf pests and diseases using improved DenseNet and transfer learning
ZHANG Guozhong1,2, LYU Ziwei1,2, LIU Haopeng1,2, LIU Wanru1,2, LONG Changjiang1,2, HUANG Chenglong1,3※
(1.,,430070,; 2.-,,430070,; 3.,.43000,)
Influenced by the ecological environment and other factors, the quality and yield of lotus root have been seriously affected by the occurrence of diseases and insect pests in recent years. With the improvement of living standards and the development of the lotus industry chain, people are looking for green food, high-yield and high-quality products. Nowadays, many farmers and planters are unable to accurately identify the diseases and pests of lotus due to lack of professional knowledge of diseases and insect pests control. There is a shortage of efficient, low-cost and automatic identification technology for the prevention and control of lotus diseases and insect pests. The diagnosis and identification of diseases and insect pests are of great significance for the prevention and control of diseases and insect pests in lotus fields. Over the past few years, deep learning technology has been widely used in the field of plant diseases and insect pests recognition to automatically extract the features of plant diseases and insect pests. In order to achieve an efficient and accurate diagnosis of lotus leaf diseases and insect pests, lotus leaf diseases and insect pests dataset was constructed and preliminary experiments were constructed on AlexNet, VGG-16, ResNet50, ResNeXt50, and DenseNet121 models. The experimental results indicated that DenseNet121 has the best performance on the dataset, lotus leaf diseases and insect pests identification model based on improved DenseNet was improved. Firstly, different methods for dynamic data enhancement were compared in this paper. The results show that resizing and randomly resizing the image is more accurate than directly resizing to the same size. The loss of detail information in part of the image is caused by over-compressing the image size, which affects the model’s recognition effect. The accuracy of the model was increased from 81.47% to 85.01% by using the data enhancement method of resize, random resized crop, random horizontal flip and random adjust sharpness. AdaMax optimizer was used to replace Stochastic Gradient Optimization optimizer and the accuracy of DenseNet model has been improved by 3.04 percentage points. The Stem block uses multi-layer small convolution for fast dimensionality reduction and a branch structure to combine convolution and maximum pooling. It improves the ability of the model to extract shallow features at a lower operating cost. The Squeeze and Excitation attention mechanism block and sharpen cosine similarity convolution were introduced in the Denselayer of the Dense Block and the Transition Layer. This method improved the recognition ability of the model to lotus leaf diseases, and verified the effectiveness of sharpen cosine convolution to improve the performance of the model. Transfer learning was performed on the Plantvillage dataset. The accuracy of the improved model is 91.34%, which 9.87 percentage points higher than before improvement and optimization. In order to solve the problem of monitoring diseases and insect pests in lotus fields, the improved model was applied to the identification of lotus field diseases and insect pests in UAV images. The calibration area of lotus leaf was cut and predicted by reasoning, then different masks were generated according to the model prediction results and added to the UAV image to generate a distribution map of lotus field diseases and insect pests. The recognition of lotus field diseases and insect pests in the UAV image was investigated, automatic classification and recognition of leaf spot, viral disease,, lotusleaf rot and lotus rhizome rot were realized. It provides a new method for efficient and accurate identification and dynamic monitoring of lotus diseases. It also supplies information supports for variable pesticide application and flight path planning in plant disease prevention and control based on UAV.
models; UAV; identification of pests and diseases; lotus leaf; DenseNet; attention mechanism; cosine similarity; transfer learning
2023-01-30
2023-04-07
国家特色蔬菜产业技术体系专项资助项目（CARS-24-D-02）；
湖北省高等学校优秀中青年科技创新团队计划项目（T201934）；
中央高校基本科研业务费专项基金资助（2662020GXPY012）
张国忠，教授，博士生导师，研究方向为现代农业装备设计与测控。Email：zhanggz@mail.hzau.edu.cn
黄成龙，副教授，硕士生导师，研究方向为智慧农业技术与装备、植物表型研究。Email：hcl@mail.hzau.edu.cn
10.11975/j.issn.1002-6819.202301122
TP391.4；
S24
A
1002-6819(2023)-08-0188-09
张国忠，吕紫薇，刘浩蓬，等. 基于改进DenseNet和迁移学习的荷叶病虫害识别模型[J]. 农业工程学报，2023，39(8)：188-196. doi：10.11975/j.issn.1002-6819.202301122 http://www.tcsae.org
ZHANG Guozhong, LYU Ziwei, LIU Haopeng, et al. Model for identifying lotus leaf pests and diseases using improved DenseNet and transfer learning[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2023, 39(8): 188-196. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.202301122 http://www.tcsae.org
猜你喜欢余弦荷叶卷积基于3D-Winograd的快速卷积算法设计及FPGA实现北京航空航天大学学报(2021年9期)2021-11-02荷叶像什么动漫界·幼教365(大班)(2021年8期)2021-07-21从滤波器理解卷积电子制作(2019年11期)2019-07-04基于傅里叶域卷积表示的目标跟踪算法北京航空航天大学学报(2018年1期)2018-04-20荷叶圆圆作文周刊·小学一年级版(2016年43期)2017-06-06两个含余弦函数的三角母不等式及其推论中学数学杂志(高中版)(2016年6期)2017-03-01分数阶余弦变换的卷积定理北京信息科技大学学报(自然科学版)(2016年5期)2016-02-27荷叶伞小学生作文(低年级适用)(2016年22期)2016-02-26图像压缩感知在分数阶Fourier域、分数阶余弦域的性能比较职业技术(2015年8期)2016-01-05小蚂蚁喜欢躺在荷叶上创新作文(1-2年级)(2014年7期)2014-09-23
