一种基于多尺度级联卷积神经网络的叶片高光谱图像分类和回归方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114821321A(43)申请公布日2022.07.29(21)申请号202210450076.9G06V10/774(2022.01)(22)申请日2022.04.27G06V10/80(2022.01)G06V10/82(2022.01)(71)申请人浙江工业大学地址310014浙江省杭州市下城区潮王路18号(72)发明人王健朱逢乐赵章风(74)专利代理机构杭州浙科专利事务所(普通合伙)33213专利代理师陈洁(51)Int.Cl.G06V20/10(2022.01)G06K9/62(2022.01)G06N3/04(2006.01)G06N3/08(2006.01)G06V10/764(2022.01)权利要求书3页说明书9页附图6页(54)发明名称一种基于多尺度级联卷积神经网络的叶片高光谱图像分类和回归方法(57)摘要本发明属于植物科学研究领域，公开了一种基于多尺度级联卷积神经网络的叶片高光谱图像分类和回归方法，首先，在3D‑CNN中，嵌入扩张卷积构建了不同尺度的谱空特征提取结构，实现多尺度特征的融合；其次，在3D‑CNN后级联1D‑CNN以进一步提取高级抽象光谱特征，并对提出的多尺度3D‑1D‑CNN网络进行最优框架探索；最后，在两个样本有限的设施作物叶片数据集上，将所提出的多尺度3D‑1D‑CNN网络模型与基准模型及多尺度3D‑CNN模型进行比较，以验证所提方法的有效性。本发明方法有助于叶片高光谱图像的分类和回归，也可为农业信息化技术领域内的其他图像分类回归方法提供新思路和技术协助。CN114821321ACN114821321A权利要求书1/3页1.一种基于多尺度级联卷积神经网络的叶片高光谱图像分类和回归方法，其特征在于，包括以下步骤：S1：搭建高光谱成像系统；S2：采集罗勒叶片和辣椒叶片样本的高光谱图像，并对图像预处理；S3：将扩张卷积引入3D‑CNN，在不增加网络参数和计算复杂度的同时扩大卷积核的感受野，并构建不同尺度的谱空特征提取结构，实现多尺度特征的融合，探究出最佳多尺度3D‑CNN网络结构；S4：在S3所述的最佳多尺度3D‑CNN网络后级联1D‑CNN网络，以三维数据作为输入，在谱空联合特征提取的基础上学习更加抽象的光谱特征，并对提出的多尺度3D‑1D‑CNN网络进行最优框架探索；S5：将S4所述的多尺度3D‑1D‑CNN网络的最优框架与基准1D‑CNN、基准2D‑CNN、基准3D‑CNN、多尺度3D‑CNN网络模型进行比较，验证所述方法的有效性。2.根据权利要求1所述的基于多尺度级联卷积神经网络的叶片高光谱图像分类和回归方法，其特征在于，所述S1：搭建高光谱成像系统包括获取样本的高光谱图像，设置光谱波段范围以及空间分辨率，并对原始高光谱图像进行校正。3.根据权利要求2所述的基于多尺度级联卷积神经网络的叶片高光谱图像分类和回归方法，其特征在于，所述高光谱成像系统包括SNAPSCANVNIR光谱相机、35mm镜头、150W的环形卤钨灯光源、图像采集软件和图像采集平台；所述光谱波段范围是470‑900nm，共140个波段；所述SNAPSCANVNIR光谱相机采用内置扫描成像方式快速获取样本的高光谱图像，不需要相机或样本的相对位移，所述SNAPSCANVNIR光谱相机的最大空间分辨率为3650×2048，数据采集中的实际空间分辨率根据叶片样本尺寸调整；所述35mm镜头与样本的垂直距离为34.5cm，曝光时间设置为30ms；所述高光谱成像系统采集到的原始高光谱图像进行如下黑白校正，以计算样本的反射率，同时减小光照度和相机暗电流对不同样本谱图获取的影响：其中R0和R分别为校正前和校正后的高光谱图像，W和D分别为白板参照图像和暗电流参照图像。4.根据权利要求1所述的基于多尺度级联卷积神经网络的叶片高光谱图像分类和回归方法，其特征在于，S2所述罗勒叶片，在人工LED光照栽培下的甜罗勒实施3种不同的光强处理，在罗勒生长40天时开展数据采集，测定叶绿素相对值，采集高光谱图像540张；S2所述辣椒叶片，对栽培50天长势一致的健康辣椒植株实施两种水分处理，对照组样本正常灌溉，实验组样本实施五天持续性干旱，采集600张高光谱图像；高光谱图像和相应标签数据对是通过自定义python函数来进行读取。5.根据权利要求1所述的基于多尺度级联卷积神经网络的叶片高光谱图像分类和回归方法，其特征在于，S2所述图像预处理包括背景分割、噪音点去除、尺寸调整；所述背景分割方式为：采用叶片和背景光谱反射率差异最大的800nm近红外波段作为背景分割的阈值波段，阈值设为0.15；所述噪音点去除的方法为：利用opencv‑python中的形态学变换，实现噪点去除；2CN114821321A