一种基于视频流的头部姿态方法及装置.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115909444A(43)申请公布日2023.04.04(21)申请号202211405035.4(22)申请日2022.11.10(71)申请人深圳市即构科技有限公司地址518000广东省深圳市南头街道莲城社区深南大道10168号佳嘉豪大厦办公楼13C(72)发明人吉祥(74)专利代理机构深圳中创智财知识产权代理有限公司44553专利代理师李春林(51)Int.Cl.G06V40/16(2022.01)权利要求书2页说明书9页附图5页(54)发明名称一种基于视频流的头部姿态方法及装置(57)摘要本发明公开了一种基于视频流的头部姿态方法，包括：S1：获取输入视频文件中包含人脸的当前待测帧的原始图像；S2.对原始图像中的人脸区域进行检测并截取，得到初始人脸图像；S3：将初始人脸图像输入超轻量人脸关键点模型，获得对齐人脸图像；S4：将对齐人脸图像送入人脸判断模型，判断对齐人脸图像中是否含有人脸；S5：将对齐人脸图像输入人脸关键点轮廓模型，获得高清人脸检测框的位置坐标以及头部姿态结果；S6：获取相邻下一帧的原始图像，根据当前帧图像的高清人脸检测框的位置坐标截取相邻下一帧图像的初始人脸图像。本申请的头部姿态方法对原始图像进行一次人脸检测，计算相似变换矩阵及其旋转角度，提高头部姿态算法的速度。CN115909444ACN115909444A权利要求书1/2页1.一种基于视频流的头部姿态方法，其特征在于，包括以下步骤：S1.获取输入视频文件中包含人脸的当前待测帧的原始图像；S2.对所述原始图像中的人脸区域进行检测并截取，得到初始人脸图像；S3.将所述初始人脸图像输入超轻量人脸关键点模型，对所述初始人脸图像进行对齐处理，获得对齐人脸图像；S4.将所述对齐人脸图像送入人脸判断模型，判断所述对齐人脸图像中是否含有人脸，若是，则进行下一步骤，若否，则返回步骤S1；S5.将所述对齐人脸图像输入人脸关键点轮廓模型，对所述对齐人脸图像进行高清处理，获得高清人脸检测框的位置坐标以及头部姿态结果；S6.获取所述视频文件中相邻下一帧的原始图像，根据当前帧图像的所述高清人脸检测框的位置坐标，截取相邻下一帧图像的初始人脸图像；重复执行步骤S3‑S6，依次输出在后连续帧图像的高清人脸检测框以及头部姿态结果。2.根据权利要求1所述的一种基于视频流的头部姿态方法，其特征在于，所述步骤S2具体包括如下内容：S21.对所述原始图像进行检测，获取第一人脸检测框的位置坐标[l,t,r,b]，其中，(l,t)为所述原始图像上所述第一人脸检测框左上角位置的横坐标和纵坐标，(r,b)为所述原始图像上所述第一人脸检测框右下角位置的横坐标和纵坐标；S22.将所述原始图像按比例放大得到放大图像，对所述放大图像中的人脸区域进行检测，获取第二人脸检测框的位置坐标[l’,t’,r’,b’]，其中，(l’,t’)为所述放大图像上所述第二人脸检测框左上角位置的横坐标和纵坐标，(r’,b’)为所述放大图像上所述第二人脸检测框右下角位置的横坐标和纵坐标；S23.使用所述第二人脸检测框对所述放大图像中的人脸部分进行截取，得到初始人脸图像，所述初始人脸图像的高为b’‑t’，宽为r’‑l’。3.根据权利要求2所述的一种基于视频流的头部姿态方法，其特征在于，所述所述步骤S3具体包括如下内容：S31.将所述初始人脸图像输入超轻量人脸关键点模型，输出人脸的第一低精度人脸关键点坐标集合[x′0，y′0，x′1，y′1，…x′n‑1，y′n‑1]，其中，n表示人脸关键点的总数，(x′0，y′0)表示第1个人脸关键点的横坐标和纵坐标，(x′n‑1，y′n‑1)表示第n个人脸关键点的横坐标和纵坐标；S32.通过所述第一低精度人脸关键点坐标集合中各个关键点的横坐标和纵坐标与所述原始图像上所述第二人脸检测框左上角位置的横坐标和纵坐标分别相加，获得人脸在所述原始图像上的第二低精度人脸关键点坐标集合[x″0，y″0，x″1，y″1，…x″n‑1，y″n‑1]；S33.通过所述第二低精度人脸关键点坐标集合与预设的标准人脸关键点坐标集合之间的运算，得到相似变换矩阵其中R00＝R11，R01＝‑R10，R00、R01、R10、R11表示相似变换矩阵的旋转缩放系数，Tx、Ty表示相似变换矩阵的偏移系数；S34.基于所述相似变换矩阵M1以及所述原始图像，对所述初始人脸图像进行对齐处理，得到对齐人脸图像。2CN115909444A权利要求书2/2页4.根据权利要求3所述的一种基于视频流的头部姿态方法，其特征在于，所述步骤S5具体包括如下内容：S51.将所述对齐人脸图像输入人脸关键点轮廓模型，输出人脸的第一高精度人脸关键点坐标集合以及头部姿态估计结果；S52.基于所述相似变换矩