目标对象关键点的检测方法、装置、电子设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114299427A(43)申请公布日2022.04.08(21)申请号202111593989.8(22)申请日2021.12.23(71)申请人北京达佳互联信息技术有限公司地址100085北京市海淀区上地西路6号1幢1层101D1-7(72)发明人耿淼(74)专利代理机构华进联合专利商标代理有限公司44224代理人赖远龙(51)Int.Cl.G06V20/40(2022.01)G06V10/82(2022.01)G06N3/08(2006.01)权利要求书2页说明书17页附图3页(54)发明名称目标对象关键点的检测方法、装置、电子设备及存储介质(57)摘要本公开关于一种目标对象关键点的检测方法、装置、电子设备及存储介质，所述方法包括：获取相邻的第一视频帧和第二视频帧之间的相似度；当相似度小于预设阈值时，调用对象检测模型确定第二视频帧中的目标对象区域；当相似度大于或等于预设阈值时，基于第一视频帧已检测的目标对象关键点，确定第二视频帧中的目标对象区域，进而可以基于目标对象区域，检测第二视频帧中的目标对象关键点。本公开的方案，可以在相似度较小时通过对象检测模型确定目标对象区域，避免频繁调用，降低终端功耗，而在相似度较高时基于上一视频帧的关键点确定目标对象区域，避免错误使用上一帧的关键点，有效提高识别准确性，实现终端功耗与关键点识别准确性之间的平衡。CN114299427ACN114299427A权利要求书1/2页1.一种目标对象关键点的检测方法，其特征在于，包括：获取相邻的第一视频帧和第二视频帧之间的相似度；所述第一视频帧的视频帧顺序在所述第二视频帧之前，所述第二视频帧为当前待检测的视频帧；当所述相似度小于预设阈值时，调用对象检测模型确定所述第二视频帧中的目标对象区域；当所述相似度大于或等于所述预设阈值时，基于所述第一视频帧已检测的目标对象关键点，确定所述第二视频帧中的目标对象区域；基于从所述第二视频帧中确定出的所述目标对象区域，检测所述第二视频帧中的目标对象关键点。2.根据权利要求1所述的方法，其特征在于，所述基于从所述第二视频帧中确定出的所述目标对象区域，检测所述第二视频帧中的目标对象关键点，包括：将所述目标对象区域对应的图像输入关键点检测模型，以通过所述关键点检测模型检测所述图像中各像素点为目标对象关键点的概率，基于所述概率确定所述图像中的目标对象关键点。3.根据权利要求2所述的方法，其特征在于，所述关键点检测模型基于如下方式得到：获取包含目标对象的训练图像，以及所述训练图像中目标对象对应的真实关键点；所述真实关键点包括第一类关键点和第二类关键点；所述第一类关键点包括肢体部位的关键点，所述第二类关键点包括躯干部位的关键点；将所述训练图像输入到待训练的神经网络模型，以通过所述神经网络模型识别所述训练图像中各个像素点为所述目标对象关键点的概率，基于所述概率确定多个预测关键点；通过所述神经网络模型中预设的监督模块确定所述神经网络模型当前的损失函数；其中，所述监督模块基于所述真实关键点与所述预测关键点对应的第一损失函数，以及，参照矢量和当前矢量对应的第二损失函数，确定所述损失函数，所述参照矢量为表征所述真实关键点中所述第一类关键点和所述第二类关键点之间的相对位置的矢量，所述当前矢量表征所述多个预测关键点中预测的第一类关键点与预测的第二类关键点之间相对位置的矢量；基于所述损失函数，对所述神经网络模型的参数进行调整，直到满足训练结束条件，得到训练后的神经网络模型；从所述训练后的神经网络模型中删除所述监督模块，得到所述关键点检测模型。4.根据权利要求3所述的方法，其特征在于，所述神经网络模型包括多个串联的网络模块，所述网络模块用于针对输入图像输出对应的热力图；所述热力图中各个像素点对应的响应值表征该像素点为目标对象关键点的概率；所述将所述训练图像输入到待训练的神经网络模型，以通过所述神经网络模型识别所述训练图像中各个像素点为所述目标对象关键点的概率，包括：将所述训练图像对应的特征图作为所述神经网络模型中的首个所述网络模块的输入图像；以及将前一网络模块输出的热力图作为后一网络模块的输入图像；基于最后一个网络模块输出的热力图，确定所述训练图像中各个像素点为所述目标对象关键点的概率。5.根据权利要求4所述的方法，其特征在于，每个所述网络模块对应设置有一个监督模2CN114299427A权利要求书2/2页块；所述通过预设的监督模块，基于参照矢量和所述当前矢量确定所述神经网络模型当前的损失函数，包括：针对每个所述网络模块，确定该网络模块输出的热力图中多个预测关键点对应的当前矢量，并通过该网络模块对应的监督模块，基于参照矢量和该网络模块对应的当前矢量，确定该网络模块对应的