基于锚点的人脸关键点检测方法、装置、系统和存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110738110A(43)申请公布日2020.01.31(21)申请号201910859973.3(22)申请日2019.09.11(71)申请人北京迈格威科技有限公司地址100190北京市海淀区科学院南路2号融科资讯中心A座316-318(72)发明人耿淼俞刚李帮怀(74)专利代理机构北京市磐华律师事务所11336代理人卜璐璐(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)G06N3/08(2006.01)权利要求书2页说明书13页附图2页(54)发明名称基于锚点的人脸关键点检测方法、装置、系统和存储介质(57)摘要本发明提供一种基于锚点的人脸关键点检测方法、装置、系统和存储介质。该方法包括：获取待检测的人脸图像，并对所述人脸图像进行特征提取；基于所述提取的特征对所述人脸图像进行分类，以确定所述人脸图像中的人脸的侧脸程度的种类，每种侧脸程度均对应于一种锚点，所述锚点为预先求得的该种侧脸程度的平均人脸关键点的集合；以及基于所述提取的特征以及所述分类的结果，确定所述人脸图像中人脸的关键点相对于所述锚点的偏移量，并基于所述锚点和所述偏移量计算得到所述人脸图像中的人脸关键点。根据本发明实施例的基于锚点的人脸关键点检测方法、装置和系统能够在保持正脸关键点检测精度的同时，大幅度提高侧脸关键点检测精度。CN110738110ACN110738110A权利要求书1/2页1.一种基于锚点的人脸关键点检测方法，其特征在于，所述方法包括：获取待检测的人脸图像，并对所述人脸图像进行特征提取；基于所述提取的特征对所述人脸图像进行分类，以确定所述人脸图像中的人脸的侧脸程度的种类，每种侧脸程度均对应于一种锚点，所述锚点为预先求得的该种侧脸程度的平均人脸关键点的集合；以及基于所述提取的特征以及所述分类的结果，确定所述人脸图像中人脸的关键点相对于所述锚点的偏移量，并基于所述锚点和所述偏移量计算得到所述人脸图像中的人脸关键点。2.根据权利要求1所述的方法，其特征在于，所述锚点的预先求得包括：获取包含不同侧脸程度的多张人脸样本图像，并对每种侧脸程度的人脸样本图像中的人脸关键点求平均，以得到与每种侧脸程度相对应的平均人脸关键点的集合，作为与该种侧脸程度相对应的锚点。3.根据权利要求2所述的方法，其特征在于，所述对每种侧脸程度的人脸样本图像中的人脸关键点求平均包括：使用聚类方法对所述多张人脸样本图像进行聚类，并将得到的聚类中心点作为所述锚点；或者对任一侧脸程度的多张人脸样本图像中的每个人脸关键点求算术平均值，并将所述任一侧脸程度的多张人脸样本图像中各人脸关键点的算术平均值的集合作为与所述任一侧脸程度相对应的锚点。4.根据权利要求1-3中的任一项所述的方法，其特征在于，所述方法是由训练好的一个神经网络来实施的，所述神经网络包括第一子网络、第二子网络和第三子网络，其中：所述第一子网络用于获取待检测的人脸图像，并对所述人脸图像进行特征提取；所述第二子网络用于基于所述第一子网络提取的特征对所述待检测的人脸图像进行分类，以确定所述待检测的人脸图像中的人脸的侧脸程度的种类，每种侧脸程度均对应于一种锚点，所述锚点为预先求得的该种侧脸程度的平均人脸关键点的集合；所述第三子网络用于基于所述第一子网络提取的特征和所述第二子网络的分类结果确定所述待检测的人脸图像中人脸的关键点相对于所述锚点的偏移量，并基于所述锚点和所述偏移量计算得到所述待检测的人脸图像中的人脸关键点。5.根据权利要求4所述的方法，其特征在于，所述第三子网络进一步包括多个分支网络，每个分支网络对应于一种侧脸程度的所述偏移量的确定和人脸关键点的计算。6.根据权利要求1-3中的任一项所述的方法，其特征在于，所述方法是由训练好的多个神经网络来实施的，所述多个神经网络包括第一神经网络、第二神经网络和第三神经网络，其中：第一神经网络用于获取待检测的人脸图像，并对所述人脸图像进行特征提取；所述第二神经网络用于基于所述第一神经网络提取的特征对所述待检测的人脸图像进行分类，以确定所述待检测的人脸图像中的人脸的侧脸程度的种类，每种侧脸程度均对应于一种锚点，所述锚点为预先求得的该种侧脸程度的平均人脸关键点的集合；所述第三神经网络用于基于所述第一神经网络提取的特征和所述第二神经网络的分类结果确定所述待检测的人脸图像中人脸的关键点相对于所述锚点的偏移量，并基于所述2CN110738110A权利要求书2/2页锚点和所述偏移量计算得到所述待检测的人脸图像中的人脸关键点。7.根据权利要求6所述的方法，其特征在于，所述第三神经网络进一步包括多个子网络，每个子网络对应于一种侧脸程度的所述偏移量的确定和人脸关键点的计算。8.根据权利要求1