基于计算机视觉和深度学习的茶蓬深度分布检测方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115512106A(43)申请公布日2022.12.23(21)申请号202211107167.9G06V10/44(2022.01)(22)申请日2022.09.13G06V10/764(2022.01)G06V10/774(2022.01)(71)申请人浙江大学G06V10/82(2022.01)地址310058浙江省杭州市西湖区余杭塘路866号(72)发明人王俊李柏燎韦真博杜冬冬王永维(74)专利代理机构杭州求是专利事务所有限公司33200专利代理师林松海(51)Int.Cl.G06V10/26(2022.01)G06N3/04(2006.01)G06N3/08(2006.01)G06V10/25(2022.01)权利要求书2页说明书5页附图3页(54)发明名称基于计算机视觉和深度学习的茶蓬深度分布检测方法(57)摘要本发明公开了基于计算机视觉和深度学习的茶蓬深度分布检测方法，其步骤为：S1.使用RGB相机采集田间茶园图像，并对所述图像中的茶陇进行标注，制作茶园图像数据集。S2.设计基于深度学习的茶陇图像分割模型，利用步骤S1所述茶园数据集对模型进行训练直至模型收敛。根据所述图像分割模型，输入RGB相机采集原始图像，输出图像中所包含的茶蓬中心线和茶园区域分割图像。S3.根据步骤S2所述茶蓬中心线和茶园区域分割图像，计算茶蓬深度分布特征，并将其映射于茶园区域分割图像中，完成茶蓬深度分布的检测。本发明能够识别茶陇中茶蓬区域的深度分布，具有较高的检测准确度以及较好的田间适用性，能够应用在茶园智能农业装备导航中。CN115512106ACN115512106A权利要求书1/2页1.一种基于计算机视觉和深度学习的茶蓬深度分布检测方法，其特征在于，包括以下步骤：S1.使用RGB相机采集田间茶园图像，对所述图像中的茶陇区域和茶蓬中心线位置进行标注，制作茶园图像数据集；S2.使用基于深度学习的茶陇图像分割模型，利用步骤S1所述茶园图像数据集进行训练直至茶陇图像分割模型收敛；根据所述茶陇图像分割模型，输入RGB相机采集待检测的原始图像，输出图像中所包含的茶蓬中心线和茶园区域分割图像；所述茶陇图像分割模型采用单输入、双输出的前向传播流，包括骨干特征提取网络、特征融合网络和两个预设计的检测分支；所述检测分支中第一个分支基于注意力和位置编码机制，由行列注意力模块、可学习的位置编码模块和多层感知机模块构成，用于提取图像中茶棚中心线相关语义信息，输出图像中茶蓬的中心线；第二个分支基于编码‑解码机制，由多头自注意力模块、上采样模块和输出通道为2的全连接层构成，用于提取图像中茶陇区域前景信息，输出茶陇区域语义分割图像；S3.根据步骤S2所述茶陇区域分割图像，提取茶陇区域分割图像连通域，利用二分图匹配算法对所述连通域与步骤S2所述茶蓬中心线进行匹配，得到茶蓬中心线与茶陇区域匹配关系，根据所述茶蓬中心线与茶陇区域匹配关系，计算茶蓬深度分布特征，并将其映射于茶园区域分割图像中，完成茶蓬深度分布的检测。2.根据权利要求1所述的基于计算机视觉和深度学习的茶蓬深度分布检测方法，其特征在于，所述步骤S1中所述茶园图像数据集由三个部分组成：原始图像、茶园区域图像标签和茶蓬中心线数据标签，其中茶园区域图像标签和茶蓬中心线数据标签为互相独立绘制；采集过程中，相机与水平方向呈45°~90°夹角，相机与茶蓬最高处的竖直高度保持在0.5m~1m内，保证相机视野内包含茶陇沿相机视角向外延伸。3.根据权利要求1所述的基于计算机视觉和深度学习的茶蓬深度分布检测方法，其特征在于，所述步骤S2中所述茶陇图像分割模型：（1）骨干特征提取网络和特征融合网络从原始图像数据提取特征，生成图像数据的高维特征图；（2）所述检测分支第一个分支由行列注意力模块、可学习的位置编码模块和多层感知机模块构成，该分支提取所述高维特征图中的行列特征，并利用可学习的位置编码进行行列特征与茶蓬中心线特征的映射，最后通过多层感知机生成茶蓬中心线；（3）所述检测分支第二个分支由多头自注意力模块、上采样模块和输出通道为2的全链接层构成，该分支首先利用多头自注意力模块加强所述高维特征图中前景信息重要度，然后利用上采样模块将高维特征图解码还原为原始图像尺寸，最后通过所述全链接层对图像中所有像素点进行前景背景分类，得到茶陇区域语义分割图像。4.根据权利要求1所述的基于计算机视觉和深度学习的茶蓬深度分布检测方法，其特征在于，所述步骤S3中计算茶蓬深度分布特征：S31.对步骤所述茶陇区域分割图像进行连通域提取，获取茶陇区域所有连通域的类别、面积、中心点位置、外接矩形以及边缘轮廓，剔除连通域面积小于S的连通域；S32.利用二分图匹配算法将步骤S2所述茶蓬中心线与所有连通