关键点检测模型训练方法和装置、关键点检测方法和装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113468924A(43)申请公布日2021.10.01(21)申请号202010243835.5(22)申请日2020.03.31(71)申请人北京沃东天骏信息技术有限公司地址100176北京市大兴区北京经济技术开发区科创十一街18号院2号楼4层A402室申请人北京京东世纪贸易有限公司(72)发明人鲍慊刘武梅涛(74)专利代理机构中国贸促会专利商标事务所有限公司11038代理人刘剑波(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)权利要求书2页说明书9页附图5页(54)发明名称关键点检测模型训练方法和装置、关键点检测方法和装置(57)摘要本公开提供一种关键点检测模型训练方法和装置、关键点检测方法和装置。关键点检测模型训练装置在预设的搜索空间中搜索出深度学习模型中各节点之间的拓扑关系；利用深度学习模型对预设图像的特征图进行处理，以得到输出特征图；对输出特征图进行处理以生成预设图像的关键点热图；将关键点热图中的关键点位置坐标和预设位置坐标之差作为损失函数，并根据损失函数重复执行在预设的搜索空间中搜索出深度学习模型中各节点之间的拓扑关系的步骤，直到损失函数值满足预设条件或达到预设循环次数为止；利用训练数据对深度学习模型进行训练，以得到关键点检测模型。本公开通过调整深度学习模型中各节点之间的拓扑关系，提供最优关键点检测结果。CN113468924ACN113468924A权利要求书1/2页1.一种关键点检测模型训练方法，包括：在预设的搜索空间中搜索出深度学习模型中各节点之间的拓扑关系；从预设图像出提取出对应的特征图；利用所述深度学习模型对所述预设图像的特征图进行处理，以得到输出特征图；对所述输出特征图进行处理以生成所述预设图像的关键点热图；将所述关键点热图中的关键点位置坐标和预设位置坐标之差作为损失函数，并根据所述损失函数重复执行在预设的搜索空间中搜索出深度学习模型中各节点之间的拓扑关系的步骤，直到损失函数值满足预设条件或达到预设循环次数为止；利用训练数据对所述深度学习模型进行训练，以得到关键点检测模型。2.根据权利要求1所述的方法，其中，所述深度学习模型包括第一深度学习子模型、第二深度学习子模型和第三深度学习子模型；利用所述深度学习模型对预设图像的特征图进行处理包括：利用所述第一深度学习子模型对所述预设图像的特征图进行处理，以得到第一特征图，所述第一特征图和所述预设图像的特征图的尺寸相同；利用所述第二深度学习子模型对所述第一特征图进行处理，以得到第二特征图，所述第二特征图的尺寸小于所述第一特征图的尺寸；利用所述第三深度学习子模型对所述第二特征图和所述第一特征图进行融合处理，以得到所述输出特征图。3.根据权利要求2所述的方法，其中，所述第二深度学习子模型包括N个变换网络模型；利用所述第二深度学习子模型对所述第一特征图进行处理包括：利用第1个变换网络模型对所述第一特征图进行处理，以得到第1个输出特征图，所述第1个输出特征图的尺寸小于所述第一特征图的尺寸；利用第i个变换网络模型对第i-1个输出特征图进行处理，以得到第i个输出特征图，所述第i个输出特征图的尺寸小于第i-1个输出结果的尺寸，2≤i≤N。4.根据权利要求3所述的方法，其中，所述第三深度学习子模型包括N个融合网络模型；利用所述第三深度学习子模型对所述第二特征图和所述第一特征图进行融合处理包括：利用第1个融合网络模型对第N个变换网络模型的输出特征图和第N-1个变换网络模型的输出特征图进行融合，以得到第1个融合特征图；利用第j个融合网络模型对第j-1个融合特征图和第N-j个变换网络模型的输出特征图进行融合，以得到第j个融合特征图，2≤j≤N-1；利用第N个融合网络模型对第N-1个融合特征图和所述第一特征图进行融合，以得到所述输出特征图。5.根据权利要求4所述的方法，其中，每个融合网络模型在进入融合处理的过程中，在接收到的两个特征图中，将尺寸较小的特征图作为第一待处理特征图，将尺寸较大的特征图作为第二待处理特征图；对所述第一待处理特征图进行升采样以得到第三待处理特征图，所述第三待处理特征图和所述第二待处理特征图的尺寸相同；对所述第三待处理特征图和所述第二待处理特征图进行融合处理。2CN113468924A权利要求书2/2页6.根据权利要求1-5中任一项所述的方法，其中，所述搜索空间包括卷积、池化、全连接、批量归一化中的至少一种。7.一种关键点检测模型训练装置，包括：搜索模块，被配置为在预设的搜索空间中搜索出深度学习模型中各节点之间的拓扑关系；特征提取模块，被配置为从预设图像出提取出对应的特征图；第一处理模块，被配置为利用所述深度学