一种基于图像的柑橘果实检测与识别方法及系统.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115205853A(43)申请公布日2022.10.18(21)申请号202211134430.3G06V10/26(2022.01)(22)申请日2022.09.19G06V10/28(2022.01)G06V10/34(2022.01)(71)申请人华中农业大学G06N3/04(2006.01)地址430070湖北省武汉市洪山区狮子山G06N3/08(2006.01)街1号华中农业大学(72)发明人佃袁勇郭志强周靖靖胡春根张金智刘永忠(74)专利代理机构武汉谦源知识产权代理事务所(普通合伙)42251专利代理师王力(51)Int.Cl.G06V20/68(2022.01)G06V10/44(2022.01)G06V10/82(2022.01)G06V10/774(2022.01)权利要求书4页说明书12页附图2页(54)发明名称一种基于图像的柑橘果实检测与识别方法及系统(57)摘要本发明涉及一种基于图像的柑橘果实检测与识别方法及系统，其方法包括获取柑橘果实的实景拍摄照片并对中心点进行标注，建立数据集；对数据集进行拟合得到柑橘果的果实边界，并生成多尺度空间梯度概率图；构建多尺度空间注意力深度学习网络模型并进行训练；获取目标柑橘实景拍摄照片，并将目标柑橘实景拍摄照片输入至多尺度空间注意力深度学习网络进行检测与识别，得到柑橘果预测点位图。本发明通过对标记后的实景拍摄照片形成的数据集进行拟合，得到柑橘果的果实边界和多尺度空间梯度概率图，构建多尺度空间注意力深度学习网络模型并进行训练，从而实现对目标柑橘实景拍摄照片的识别，得到柑橘果预测点位图，检测方法简单使用、可移植性强。CN115205853ACN115205853A权利要求书1/4页1.一种基于图像的柑橘果实检测与识别方法,其特征在于，包括如下步骤：获取柑橘果实的实景拍摄照片，并对所述实景拍摄照片中果实的中心点进行标注，建立数据集；基于所述中心点利用区域生长算法对所述数据集进行拟合，得到柑橘果的果实边界，并生成基于果实中心点的多尺度空间梯度概率图；构建多尺度空间注意力深度学习网络模型，并基于所述多尺度空间梯度概率图对所述多尺度空间注意力深度学习网络模型进行训练；获取目标柑橘实景拍摄照片，并将所述目标柑橘实景拍摄照片输入至所述多尺度空间注意力深度学习网络进行检测与识别，得到柑橘果预测点位图。2.根据权利要求1所述的基于图像的柑橘果实检测与识别方法,其特征在于，所述获取柑橘果实的实景拍摄照片并对所述实景拍摄照片中果实的中心点进行标注，建立数据集具体包括如下步骤：获取柑橘果实的实景拍摄照片，利用软件对所述实景拍摄照片中柑橘过的中心点进行标注；从所述实景拍摄照片中随机抽取M张标注样本作为训练集，进行图像数据扩增，并保留N张样本作为验证数据集；将所述样本数据集划分为训练集和验证集；其中，所述图像数据扩增包括图像旋转、图像移动、图像缩放、图像增强、噪声注入和对比度变换中的一种或多种处理，M>N。3.根据权利要求2所述的基于图像的柑橘果实检测与识别方法,其特征在于，所述基于所述中心点利用区域生长算法对所述数据集进行拟合具体包括如下步骤：采用归一化波段指数确定所述实景拍摄照片中柑橘果和背景对应的指数，并计算相邻空间红蓝波段梯度指数差值；（1）（2）其中，Red为图像数据中对应像素的红光波段的值，Blue为图像数据中对应像素的蓝光波段的值，graDiff为红蓝波段梯度指数，T为相邻空间红蓝波段梯度指数差值，且所述T小于预设阈值时对应像素为柑橘果，否则对应像素为背景；采用八邻域算法，以所述中心点为种子点进行区域生长，得到数据集中图像数据对应的二值图像；采用卷积核对所述二值图像分别进行膨胀和腐蚀处理，得到分别得到膨胀和腐蚀后的图斑，通过相交求差得到每一个果实的边缘点；对所述边缘点进行圆拟合，得到果实的果实边界，并计算每个果实边界对应的半径。4.根据权利要求2所述的基于图像的柑橘果实检测与识别方法,其特征在于，所述生成基于果实中心点的多尺度空间梯度概率图具体包括如下步骤：定义所述数据集的图像中柑橘果的位置点为,构建每个柑橘果实位置点的二维高斯核函数，具体如下：2CN115205853A权利要求书2/4页（3）将每个柑橘果实位置点对应的所述二维高斯核函数进行叠加，并基于所有所述二维高斯核函数的最大值构建所述多尺度空间梯度概率图：（4）其中，为高斯核参数，为对应柑橘果的位置点属于对应类别关键点的初始概率，为所述数据集的图像中柑橘果的数量。5.根据权利要求2所述的基于图像的柑橘果实检测与识别方法,其特征在于，所述构建多尺度空间注意力深度学习网络，并将所述多尺度空间梯度概率图输入至所述多尺度空间注意力深度学习网络进行训练具体包括如下步骤：构建多