基于双目视觉系统的果实定位方法和装置.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114973238A(43)申请公布日2022.08.30(21)申请号202111489341.6G06V10/75(2022.01)(22)申请日2021.12.08G06V10/774(2022.01)G06V10/82(2022.01)(71)申请人甘肃农业大学G06K9/62(2022.01)地址730000甘肃省兰州市安宁区营门村1G06N3/04(2006.01)号G06N3/08(2006.01)(72)发明人刘立群周煜博顾任远(74)专利代理机构北京超凡宏宇专利代理事务所(特殊普通合伙)11463专利代理师舒淼(51)Int.Cl.G06V20/68(2022.01)G06V10/22(2022.01)G06V10/26(2022.01)G06V10/44(2022.01)G06V10/46(2022.01)权利要求书3页说明书12页附图4页(54)发明名称基于双目视觉系统的果实定位方法和装置(57)摘要本发明提供了一种基于双目视觉系统的果实定位方法和装置，该方法包括：以预先获取的初始可见光图像为基准，基于局部峰值预选策略以及脉冲耦合神经网络，对预先获取的初始ToF图像和初始可见光图像进行配准，得到配准ToF图像；根据预设的YOLOv3卷积神经网络模型对所述初始可见光图像中的果实进行果实识别，得到果实识别结果；若所述果实识别结果表征所述初始可见光图像中存在所述果实，则根据所述配准ToF图像，确定所述果实的位置信息。本方案能够提高对果实的识别及定位的准确性。CN114973238ACN114973238A权利要求书1/3页1.一种基于双目视觉系统的果实定位方法，其特征在于，所述方法包括：以预先获取的初始可见光图像为基准，基于局部峰值预选策略以及脉冲耦合神经网络，对预先获取的初始ToF图像和所述初始可见光图像进行配准，得到配准ToF图像；根据预设的YOLOv3卷积神经网络模型对所述初始可见光图像中的果实进行果实识别，得到果实识别结果；若所述果实识别结果表征所述初始可见光图像中存在所述果实，则根据所述配准ToF图像，确定所述果实的位置信息。2.根据权利要求1所述的方法，其特征在于，所述初始可见光图像与所述初始ToF图像均称为初始图像；以预先获取的初始可见光图像为基准，基于局部峰值预选策略以及脉冲耦合神经网络，对预先获取的初始ToF图像和所述初始可见光图像进行配准，得到配准ToF图像的步骤，包括：根据局部峰值预选策略，确定所述初始图像中目标的目标显著区域，其中，所述目标包括果实和背景，所述背景包括简单背景和复杂背景；根据最大期望算法和所述脉冲耦合神经网络，确定所述目标显著区域的目标轮廓；根据所述初始可见光图像中的所述目标显著区域和所述初始ToF图像中的所述目标显著区域，确定第一信息；根据所述初始可见光图像中的所述目标轮廓和所述初始ToF图像中的所述目标轮廓，确定第二信息；根据所述第一信息和所述第二信息，确定配准ToF图像。3.根据权利要求2所述的方法，其特征在于，根据所述局部峰值预选策略，确定所述初始图像中目标的目标显著区域的步骤，包括：将所述初始图像分割为预设数量的图像小块；提取所述图像小块的每一个像素点的灰度值；根据所述灰度值以及局部峰值预选策略，区分并确定果实显著区域与背景显著区域，其中，所述目标显著区域包括所述果实显著区域和所述背景显著区域。4.根据权利要求3所述的方法，其特征在于，根据所述灰度值以及所述局部峰值预选策略，初步区分并确定果实显著区域与背景显著区域的步骤，包括：基于二维正态分布，确定所述果实的二维分布概率；根据预设的固定差量阈值，对所述果实的二维分布概率进行峰值特性判别计算，区分并确定所述果实显著区域以及所述背景显著区域。5.根据权利要求4所述的方法，其特征在于，根据最大期望算法和所述脉冲耦合神经网络，确定所述目标显著区域的目标轮廓的步骤，包括：基于所述最大期望算法和所述脉冲耦合神经网络，确定所述目标显著区域的动态阈值以及连接强度；基于所述动态阈值和所述连接强度收敛所述果实显著区域，得到果实轮廓；基于所述动态阈值和所述连接强度收敛所述背景显著区域，得到背景轮廓，其中，所述目标轮廓包括所述果实轮廓和所述背景轮廓。6.根据权利要求5所述的方法，其特征在于，确定所述目标显著区域的动态阈值的步2CN114973238A权利要求书2/3页骤，包括：采用预设的最大期望算法，预测所述目标显著区域的极大似然值，并且确定横坐标方向与纵坐标方向的均值和协方差矩阵；在所述目标显著区域的灰度值一致的前提下，迭代计算所述目标显著区域的动态阈值；通过预设的迭代终止条件，停止所述迭代计算所述目标显著区域的动态阈值的步骤，得到最终的所述目标显著区域的动态阈值。7.