视频图像的识别方法、系统以及计算机可读存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113642531A(43)申请公布日2021.11.12(21)申请号202111184272.8(22)申请日2021.10.12(71)申请人阿里巴巴达摩院（杭州）科技有限公司地址310023浙江省杭州市余杭区五常街道文一西路969号3幢5层516室(72)发明人王雨桐黄明杨马菲莹谢宣松(74)专利代理机构北京博浩百睿知识产权代理有限责任公司11134代理人谢湘宁(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书3页说明书16页附图11页(54)发明名称视频图像的识别方法、系统以及计算机可读存储介质(57)摘要本申请公开了一种视频图像的识别方法、系统以及计算机可读存储介质。其中，该方法包括：从当前帧图像中识别出待识别对象，其中，当前帧图像为待识别的视频图像所包含的图像，并对待识别对象进行特征融合，得到当前帧图像中待识别对象的至少一个候选关键点，从而基于上一帧图像中待识别对象的至少一个关键点对至少一个候选关键点进行融合处理，得到当前帧图像中待识别对象的至少一个目标关键点，进而根据至少一个目标关键点对待识别对象的姿态进行识别，得到识别结果。本申请解决了现有技术中，识别视频图像中的目标对象的关键点时存在识别不准确的技术问题。CN113642531ACN113642531A权利要求书1/3页1.一种视频图像的识别方法，其特征在于，包括：从当前帧图像中识别出待识别对象，其中，所述当前帧图像为待识别的视频图像所包含的图像；对所述待识别对象进行特征融合，得到所述当前帧图像中所述待识别对象的至少一个候选关键点；基于上一帧图像中所述待识别对象的至少一个关键点对所述至少一个候选关键点进行融合处理，得到所述当前帧图像中所述待识别对象的至少一个目标关键点；根据所述至少一个目标关键点对所述待识别对象的姿态进行识别，得到识别结果。2.根据权利要求1所述的方法，其特征在于，在从当前帧图像中识别出待识别对象之前，所述方法还包括：获取所述当前帧图像对应的帧标识；根据所述帧标识确定所述当前帧图像对应的帧类型。3.根据权利要求2所述的方法，其特征在于，从当前帧图像中识别出待识别对象，包括：在所述当前帧图像的帧类型为关键帧时，基于第一神经网络模型对所述当前帧图像进行图像处理，得到所述待识别对象在所述当前帧图像的候选区域；基于所述候选区域对所述当前帧图像进行裁剪，从所述当前帧图像中识别出所述待识别对象。4.根据权利要求3所述的方法，其特征在于，对所述待识别对象进行特征融合，得到所述当前帧图像中所述待识别对象的至少一个候选关键点，包括：基于第二神经网络模型对所述待识别对象进行特征提取，得到多个对象特征，其中，所述第二神经网络模型至少包括残差网络，所述残差网络由多个残差单元组成；确定所述残差网络所对应的目标残差深度；根据所述目标残差深度确定目标残差网络；获取所述目标残差网络对所述多个对象特征进行特征融合的融合结果；根据所述融合结果确定所述至少一个候选关键点。5.根据权利要求2所述的方法，其特征在于，从当前帧图像中识别出所述待识别对象，包括：在所述当前帧图像的帧类型为非关键帧时，获取所述待识别对象在所述上一帧图像中的预设区域；对所述预设区域进行扩展处理，得到扩展后的预设区域；基于所述扩展后的预设区域确定所述待识别对象在所述当前帧图像中的候选区域；基于所述候选区域对所述当前帧图像进行裁剪，从所述当前帧图像中识别出所述待识别对象。6.根据权利要求5所述的方法，其特征在于，对所述待识别对象进行特征融合，得到所述当前帧图像中所述待识别对象的至少一个候选关键点，包括：基于第二神经网络模型对所述待识别对象进行特征融合，得到所述当前帧图像中所述待识别对象的至少一个当前帧关键点；计算所述至少一个当前帧关键点的平均置信度；根据所述平均置信度与置信度阈值确定所述当前帧图像中所述待识别对象的至少一2CN113642531A权利要求书2/3页个候选关键点。7.根据权利要求6所述的方法，其特征在于，基于第二神经网络模型对所述待识别对象进行特征融合，得到所述当前帧图像中所述待识别对象的至少一个当前帧关键点，包括：获取所述第二神经网络模型对所述待识别对象进行特征提取，得到多个对象特征，其中，所述第二神经网络模型至少包括残差网络，所述残差网络由多个残差单元组成；确定所述残差网络所对应的目标残差深度；根据所述目标残差深度确定目标残差网络；获取所述目标残差网络对所述多个对象特征进行特征融合的融合结果；根据所述融合结果确定所述至少一个当前帧关键点。8.根据权利要求6所述的方法，其特征在于，根据所述平均置信度与置信