人脸关键点跟踪方法、介质、装置和计算设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110852254A(43)申请公布日2020.02.28(21)申请号201911085891.4(22)申请日2019.11.08(71)申请人杭州网易云音乐科技有限公司地址310052浙江省杭州市萧山区钱江世纪城奔竞大道353号杭州国际博览中心A座1201室(72)发明人蔡苗苗尤才乾唐胜标刘华平(74)专利代理机构北京律智知识产权代理有限公司11438代理人王辉阚梓瑄(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)权利要求书2页说明书20页附图10页(54)发明名称人脸关键点跟踪方法、介质、装置和计算设备(57)摘要本发明的实施方式提供了一种人脸关键点跟踪方法、介质、人脸关键点跟踪装置和计算设备。该方法包括：确定多个人脸关键点在当前帧图像中的当前帧位置；从所述多个人脸关键点中选取多个特征点，并通过点位跟踪确定所述多个特征点在下一帧图像中的下一帧位置；根据所述多个特征点的当前帧位置和下一帧位置确定所述当前帧图像与所述下一帧图像的帧间位置映射关系；根据所述多个人脸关键点的当前帧位置以及所述帧间位置映射关系确定所述多个人脸关键点在下一帧图像中的下一帧位置。该方法具有运算速度快、计算开销小、跟踪精度高等优点。CN110852254ACN110852254A权利要求书1/2页1.一种人脸关键点跟踪方法，包括：确定多个人脸关键点在当前帧图像中的当前帧位置；从所述多个人脸关键点中选取多个特征点，并通过点位跟踪确定所述多个特征点在下一帧图像中的下一帧位置；根据所述多个特征点的当前帧位置和下一帧位置确定所述当前帧图像与所述下一帧图像的帧间位置映射关系；根据所述多个人脸关键点的当前帧位置以及所述帧间位置映射关系确定所述多个人脸关键点在下一帧图像中的下一帧位置。2.根据权利要求1所述的人脸关键点跟踪方法，所述确定多个人脸关键点在当前帧图像中的当前帧位置，包括：对当前帧图像进行人脸检测以得到所述当前帧图像中的人脸区域图像；对所述人脸区域图像进行关键点检测以得到多个人脸关键点在所述当前帧图像中的当前帧位置。3.根据权利要求2所述的人脸关键点跟踪方法，所述对当前帧图像进行人脸检测以得到所述当前帧图像中的人脸区域图像，包括：对当前帧图像进行人脸区域识别以在所述当前帧图像中确定多个预测人脸区域边框；对所述多个预测人脸区域边框进行筛选和位置调整以在所述当前帧图像中确定多个候选人脸区域边框；对所述多个候选人脸区域边框进行评分以确定目标人脸区域边框，并通过边框回归调整所述目标人脸区域边框的位置以得到所述当前帧图像中的人脸区域图像。4.根据权利要求2所述的人脸关键点跟踪方法，所述对所述人脸区域图像进行关键点检测以得到多个人脸关键点在所述当前帧图像中的当前帧位置，包括：调整所述人脸区域图像的尺寸以得到尺寸归一化图像；将所述尺寸归一化图像输入包括多个卷积层的关键点检测网络，以得到多个人脸关键点的归一化位置坐标；根据所述归一化位置坐标确定所述多个人脸关键点在所述当前帧图像中的当前帧位置。5.根据权利要求4所述的人脸关键点跟踪方法，所述关键点检测网络中的卷积层的数量大于或者等于10个，每个所述卷积层中的卷积核的数量为32至256个。6.根据权利要求1所述的人脸关键点跟踪方法，所述从所述多个人脸关键点中选取多个特征点，包括：对所述当前帧图像进行角点检测以确定所述多个人脸关键点中的多个角点，并将所述角点选取为特征点。7.根据权利要求1所述的人脸关键点跟踪方法，所述通过点位跟踪确定所述多个特征点在下一帧图像中的下一帧位置，包括：在所述当前帧图像中确定多个特征点及其邻域所在位置的当前帧亮度信息，并在所述下一帧图像中确定相同位置处的下一帧亮度信息；根据所述当前帧亮度信息和所述下一帧亮度信息确定所述多个特征点的移动速度；获取所述当前帧图像与所述下一帧图像的时间间隔，并根据所述时间间隔以及所述移2CN110852254A权利要求书2/2页动速度确定所述多个特征点在下一帧图像中的下一帧位置。8.一种介质，其上存储有程序，该程序被处理器执行时实现如权利要求1至7中任一项所述的方法。9.一种人脸关键点跟踪装置，包括：当前帧位置确定模块，被配置为确定多个人脸关键点在当前帧图像中的当前帧位置；特征点跟踪模块，被配置为从所述多个人脸关键点中选取多个特征点，并通过点位跟踪确定所述多个特征点在下一帧图像中的下一帧位置；映射关系确定模块，被配置为根据所述多个特征点的当前帧位置和下一帧位置确定所述当前帧图像与所述下一帧图像的帧间位置映射关系；下一帧位置确定模块，被配置为根据所述多个人脸关键点的当前帧位置以及所述帧间位置映射关系确定所述多个人脸关键点在下一帧图像中的下一帧位置。10.一