人脸抓拍方法、系统及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113901875A(43)申请公布日2022.01.07(21)申请号202111059813.4(22)申请日2021.09.10(71)申请人浪潮云信息技术股份公司地址250100山东省济南市高新区浪潮路1036号浪潮科技园S01号楼(72)发明人刘琛耿艳磊李晗安晓博(74)专利代理机构济南信达专利事务所有限公司37100代理人孙园园(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)G06T7/00(2017.01)G06T7/246(2017.01)G06T5/10(2006.01)权利要求书2页说明书6页附图3页(54)发明名称人脸抓拍方法、系统及存储介质(57)摘要本发明公开了一种人脸抓拍方法、系统及存储介质，属于计算机视觉技术领域，本发明要解决的技术问题为如何在人脸检测跟踪过程中，抓拍出质量最好、角度最正的人脸，采用的技术方案为：该方法具体如下：获取视频当前帧图像数据；通过人脸检测‑人脸关键点检测模型对视频中人脸检测获取人脸图像，并对检测到的人脸图像进行人脸关键点检测；通过跟踪匹配算法对连续帧间人脸坐标匹配获得数个目标序列；根据人脸坐标和关键点信息计算人脸图像质量得分；根据人脸图像质量得分筛选出每个目标序列符合要求的最佳人脸图像，并输出最佳人脸图像对应的相关信息。CN113901875ACN113901875A权利要求书1/2页1.一种人脸抓拍方法，其特征在于，该方法具体如下：获取视频当前帧图像数据；通过人脸检测‑人脸关键点检测模型对视频中人脸检测获取人脸图像，并对检测到的人脸图像进行人脸关键点检测；通过跟踪匹配算法对连续帧间人脸坐标匹配获得数个目标序列；根据人脸坐标和关键点信息计算人脸图像质量得分；根据人脸图像质量得分筛选出每个目标序列符合要求的最佳人脸图像，并输出最佳人脸图像对应的相关信息。2.根据权利要求1所述的人脸抓拍方法，其特征在于，所述人脸检测‑人脸关键点检测模型采用MTCNN、Retinaface或OpenFace；所述跟踪匹配算法采用sort、deepsort、KCF或JDE。3.根据权利要求1所述的人脸抓拍方法，其特征在于，人脸图像质量得分计算公式为：人脸图像质量得分＝人脸图像清晰度值*人脸关键点距离*人脸旋转程度值；其中，人脸图像清晰度值对人脸图像进行DCT余弦变换后再进行归一化处理；关键点距离是指鼻尖关键点到由两个眼睛的瞳孔与两个嘴角组成的四边形的最短距离；人脸旋转程度值是指两个眼睛瞳孔连线的方向向量和两个嘴角连线的方向向量的均值与水平轴夹角的余弦值的绝对值。4.根据权利要求1‑3中任一所述的人脸抓拍方法，其特征在于，人脸图像对应的相关信息包括持续时间信息、所属视频帧信息、坐标信息和关键点坐标信息。5.根据权利要求4中所述的人脸抓拍方法，其特征在于，根据人脸图像质量得分筛选出每个目标序列符合要求的最佳人脸图像具体如下：根据人脸图像质量得分判断目标人脸存在时间是否超出阈值：若是，则判断人脸区域图像尺寸是否大于设定阈值：若是，则输出该人脸区域图像；若否，则无输出。6.一种人脸抓拍系统，其特征在于，该系统包括，人脸检测‑关键点检测模块，用于利用人脸检测‑关键点检测网络模型对人脸及关键点检测，获取人脸及人脸关键点坐标信息；跟踪匹配模块，用于利用跟踪匹配算法将统一目标的人脸序列关联匹配起来，进而获得每个目标在跟踪过程中的相关信息；人脸质量评价模块，用于根据人脸坐标和关键点信息计算人脸图像质量得分，再根据人脸图像质量得分筛选出每个目标序列符合要求的最佳人脸图像，并输出最佳人脸图像对应的相关信息。7.根据权利要求6所述的人脸抓拍系统，其特征在于，所述人脸检测‑关键点检测模块的工作过程具体如下：(1)、初始化相关参数；(2)、获取视频当前帧图像输入预训练好的人脸检测‑关键点检测模型，经过网络前向推理，输出视频当前帧的人脸图像及其关键点坐标的信息；2CN113901875A权利要求书2/2页跟踪匹配模块的工作过程具体如下：(1)、输入人脸区域图像和坐标信息；(2)、使用跟踪匹配算法匹配前后帧中目标的人脸，将属于同一目标的人脸关联；(3)、输出匹配后的人脸信息。8.根据权利要求6所述的人脸抓拍系统，其特征在于，所述人脸质量评价模块工作过程具体如下：(1)输入人脸坐标及其关键点坐标的人脸信息；(2)、计算人脸质量的得分，公式如下：人脸图像质量得分＝人脸图像清晰度值*人脸关键点距离*人脸旋转程度值；其中，人脸图像清晰度值对人脸图像进行DCT余弦变换后再进行归一化处理；关键点距离是指鼻尖关键点到由两个眼睛的瞳孔与两个嘴角组成的四边形的最短距离；人脸旋转程度值是指两个眼睛瞳孔连线的方向向量和两个嘴角连线