基于融合热力图像和RGB图像的茶叶嫩芽采摘点定位方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114842187A(43)申请公布日2022.08.02(21)申请号202210228036.XG06N3/04(2006.01)(22)申请日2022.03.08G06N3/08(2006.01)(71)申请人中国农业科学院茶叶研究所地址310008浙江省杭州市西湖区梅灵南路9号(72)发明人李杨董春旺马蓉张人天程亦帆姜嘉胤王慕哲(74)专利代理机构广州市华学知识产权代理有限公司44245专利代理师黄宗波(51)Int.Cl.G06V10/24(2022.01)G06K9/62(2022.01)G06V10/774(2022.01)G06T3/40(2006.01)权利要求书2页说明书8页附图6页(54)发明名称基于融合热力图像和RGB图像的茶叶嫩芽采摘点定位方法(57)摘要本发明公开了一种基于融合热力图像和RGB图像的茶叶嫩芽采摘点定位方法，包括：首先利用图像采集设备获取若干个茶树嫩芽的茶叶嫩芽图像对，对每对所述茶叶嫩芽图像对进行标注，得到茶叶嫩芽目标检测数据库和茶叶嫩芽关键点检测数据库；其次将所述嫩芽目标检测数据库和茶叶嫩芽关键点检测数据库分别输入基于深度卷积神经网络的目标检测模型和关键点模型进行训练，分别得到目标检测模型和关键点检测模型；最后利用训练后的目标检测模型、关键点检测模型依次对茶树嫩芽图像对进行处理得到嫩芽关键点位置，在结合嫩芽生长特点对所述茶树嫩芽进行采摘点定位，得到嫩芽采摘点位置。本发明提高了茶叶嫩芽采摘点定位的精度和效率。CN114842187ACN114842187A权利要求书1/2页1.一种基于融合热力图像和RGB图像的茶叶嫩芽采摘点定位方法，其特征在于：所述方法包括如下步骤：获取若干个茶树嫩芽的茶叶嫩芽图像对，所述茶叶嫩芽图像对包括茶叶嫩芽热力图像和茶叶嫩芽RGB图像；对每对所述茶叶嫩芽图像对进行标注，得到茶叶嫩芽目标检测数据库和茶叶嫩芽关键点检测数据库；将所述嫩芽目标检测数据库输入基于深度卷积神经网络的目标检测模型进行训练，得到训练后的目标检测模型；将嫩芽关键点检测数据库输入关键点检测模型进行训练，得到训练后的关键点检测模型；利用图像采集设备拍摄待采摘茶叶嫩芽的图像对；根据训练后的目标检测模型、关键点检测模型和图像对，得到嫩芽关键点位置；结合嫩芽生长特点和嫩芽关键点位置对所述茶树嫩芽进行采摘点定位，得到嫩芽采摘点位置。2.根据权利要求1所述的基于融合热力图像和RGB图像的茶叶嫩芽采摘点定位方法，其特征在于，所述对每对所述茶叶嫩芽图像对进行标注，得到茶叶嫩芽目标检测数据库和茶叶嫩芽关键点检测数据库的步骤，包括：对每对所述茶叶嫩芽图像对分别按照目标检测、关键点检测两类任务输入数据的格式进行标注，得到与茶叶嫩芽图像对对应的目标标注数据和关键点标注数据；对所述目标标注数据和所述关键点标注数据分别进行增广操作，得到茶叶嫩芽目标检测数据库和茶叶嫩芽关键点检测数据库。3.根据权利要求1所述的基于融合热力图像和RGB图像的茶叶嫩芽采摘点定位方法，其特征在于，所述将所述嫩芽目标检测数据库输入基于深度卷积神经网的目标检测络模型进行训练，得到目标检测模型的步骤，包括：将所述嫩芽目标检测数据库按照第一预设比例划分为目标检测训练集和目标检测验证集；将所述目标检测训练集输入基于深度卷积神经网络的目标检测模型进行训练，得到目标检测模型权重文件；将训练后的目标检测模型权重文件加载到目标检测模型中，得到训练后的目标检测模型。4.根据权利要求1所述的基于融合热力图像和RGB图像的茶叶嫩芽采摘点定位方法，其特征在于，所述将嫩芽关键点检测数据库输入关键点检测模型进行训练，得到关键点检测模型的步骤，包括：将所述嫩芽关键点检测数据库按照第二预设比例划分为关键点训练集和关键点验证集；将所述关键点训练集输入关键点检测模型进行训练，得到关键点检测模型权重文件；将训练后的关键点检测模型权重文件加载到关键点检测模型中，得到训练后的关键点检测模型。5.根据权利要求4所述的基于融合热力图像和RGB图像的茶叶嫩芽采摘点定位方法，其2CN114842187A权利要求书2/2页特征在于，所述将所述关键点训练集通过关键点检测模型进行训练，得到茶叶关键点检测模型权重文件的步骤，包括：基于HRNet网络利用pytorch程序建立改进的关键点检测模型，所述改进的关键点检测模型为将关键点检测模型的输入层改进为4通道，以用于输入热力图像和RGB图像融合后的图像；将所述关键点训练集分批次不断迭代的输入关键点检测模型，当模型收敛，则完成关键点检测模型的训练，得到关键点检测模型权重文件。6.根据权利要求5所述的基于融合热力图像和RGB图像的茶叶嫩芽采摘点定位方法，其特征在于，所述关键点检测模型的损失函数为：m