一种人脸特征信息的追踪方法、装置及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN108875480A(43)申请公布日2018.11.23(21)申请号201710698369.8(22)申请日2017.08.15(71)申请人北京旷视科技有限公司地址100000北京市海淀区科学院南路2号A座313申请人北京迈格威科技有限公司(72)发明人熊鹏飞(74)专利代理机构北京超凡志成知识产权代理事务所(普通合伙)11371代理人王宁宁(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)权利要求书4页说明书15页附图2页(54)发明名称一种人脸特征信息的追踪方法、装置及系统(57)摘要本发明提供了一种人脸特征信息的追踪方法、装置及系统，涉及图像识别的技术领域，该方法包括：获取待处理的第一图像帧和已处理的第二图像帧，第一图像帧和第二图像帧为视频流中的至少一对连续图像帧，第一图像帧中包括预估人脸框，第二图像帧中包括已检测到的人脸框；采用深度神经网络模型对第一图像帧的预估人脸框所标识的区域和第二图像帧的已检测到的人脸框所标识的区域进行处理，基于处理结果追踪第一图像帧的人脸特征信息，人脸特征信息包括人脸框和/或人脸特征点，解决了现有技术中的人脸定位追踪方法在应对复杂人脸移动时，人脸识别的准确度较差的技术问题。CN108875480ACN108875480A权利要求书1/4页1.一种人脸特征信息的追踪方法，其特征在于，包括：获取待处理的第一图像帧和已处理的第二图像帧，所述第一图像帧和所述第二图像帧为视频流中的至少一对连续图像帧，所述第一图像帧中包括预估人脸框，所述第二图像帧中包括已检测到的人脸框；采用深度神经网络模型对所述第一图像帧的所述预估人脸框所标识的区域和所述第二图像帧的所述已检测到的人脸框所标识的区域进行处理，基于处理结果追踪所述第一图像帧的人脸特征信息，所述人脸特征信息包括人脸框和/或人脸特征点。2.根据权利要求1所述的方法，其特征在于，采用深度神经网络模型对所述第一图像帧的所述预估人脸框所标识的区域和所述第二图像帧的所述已检测到的人脸框所标识的区域进行处理，基于处理结果追踪所述第一图像帧的人脸特征信息包括：采用所述深度神经网络模型对所述第一图像帧的所述预估人脸框所标识的区域和所述第二图像帧的所述已检测到的人脸框所标识的区域进行处理，以得到第一处理结果，其中，所述第一处理结果包括：所述第一图像帧相对于所述第二图像帧的人脸框偏移量，所述第一图像帧相对于所述第二图像帧的人脸特征点偏移量；基于所述第一处理结果追踪所述第一图像帧的人脸特征信息。3.根据权利要求2所述的方法，其特征在于，所述深度神经网络包括：第一神经网络和第二神经网络，其中，所述第一神经网络包括两个结构相同的基础网络，两个所述基础网络的网络末端分别与所述第二神经网络的输入端相连接，两个所述基础网络的输入端用于输入所述至少一对连续图像帧；所述第一神经网络和所述第二神经网络均为将一个或多个卷积层，一个或多个池化层和一个或多个非线性层按照预定连接方式连接而成的网络，且所述第一神经网络和所述第二神经网络的连接方式相同或者不同。4.根据权利要求2所述的方法，其特征在于，基于所述第一处理结果追踪所述第一图像帧的人脸框包括：结合所述人脸框偏移量和所述第二图像帧的人脸框的坐标确定所述第一图像帧的人脸框。5.根据权利要求4所述的方法，其特征在于，基于所述第一处理结果追踪所述第一图像帧的人脸特征点包括：结合所述人脸特征点偏移量和所述第二图像帧的人脸特征点的坐标确定中间人脸特征点，其中，所述中间人脸特征点位于所述第一图像帧的人脸框的坐标系中；将所述中间人脸特征点进行归一化处理，得到所述第一图像帧的人脸特征点，其中，所述第一图像帧的人脸特征点位于所述第一图像帧的坐标系中。6.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取指导特征点，其中，所述指导特征点为已检测出的所述第二图像帧的人脸特征点；所述采用深度神经网络模型对所述第一图像帧的所述预估人脸框所标识的区域和所述第二图像帧的所述已检测到的人脸框所标识的区域进行处理包括：将所述指导特征点、所述第一图像帧的所述预估人脸框所标识的区域和所述第二图像帧的所述已检测到的人脸框所标识的区域输入至所述深度神经网络模型中进行处理，得到第二处理结果，其中，所2CN108875480A权利要求书2/4页述第二处理结果包括：所述第一图像帧相对于所述第二图像帧的人脸框偏移量和所述第一图像帧的人脸特征点；以及，基于所述人脸框偏移量确定所述第一图像帧的人脸框。7.根据权利要求1所述的方法，其特征在于，在采用深度神经网络模型对所述第一图像帧和所述第二图像帧进行处理的同时，所述方法还包括：获取所述深度神经网络模型基于所述第一图像帧计算