眼部图像处理方法、设备、图像处理设备、介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN109886107A(43)申请公布日2019.06.14(21)申请号201910037496.2(22)申请日2019.01.15(71)申请人北京奇艺世纪科技有限公司地址100080北京市海淀区北一街2号鸿城拓展大厦10、11层(72)发明人王顺利(74)专利代理机构北京润泽恒知识产权代理有限公司11319代理人莎日娜(51)Int.Cl.G06K9/00(2006.01)权利要求书2页说明书9页附图5页(54)发明名称眼部图像处理方法、设备、图像处理设备、介质(57)摘要本发明公开了眼部图像处理方法、设备、图像处理设备、介质。一种眼部图像处理方法，包括：对经由人脸检测方法得到的脸部图像进行裁剪处理以得到眼部图像；使经过裁剪处理得到的眼部图像通过卷积神经网络模型进行预测，以得到眼部的轮廓关键点的坐标；基于眼部的轮廓关键点的坐标，计算得到眼睛变形所需数据；以及基于所述眼睛变形所需数据，执行图像的眼睛变形处理。本发明通过对经由人脸检测方法得到的粗略的眼部图像进行裁剪并经由神经网络模型进行预测得到的结果数据计算眼睛变形所需数据，能够有效处理高分辨率输入图像以得到眼睛相关的位置信息，而且基于眼睛的这些位置信息能够进行眼部的变形处理。CN109886107ACN109886107A权利要求书1/2页1.一种眼部图像处理方法，其特征在于，包括：对经由人脸检测方法得到的脸部图像进行裁剪处理以得到眼部图像；使经过裁剪处理得到的眼部图像通过卷积神经网络模型，以预测得到眼部的轮廓关键点的坐标；基于眼部的轮廓关键点的坐标，计算得到眼睛变形所需数据；以及基于所述眼睛变形所需数据，执行图像的眼睛变形处理。2.如权利要求1所述的眼部图像处理方法，其特征在于，所述裁剪处理包括：根据通过人脸检测方法得到的针对左眼和右眼的部位标记点的坐标，定位眼部图像的区域；根据左眼和右眼的所述部位标记点的间距来确定要裁剪得到的眼部图像的大小；基于确定的要裁剪得到的眼部图像的大小，把所述眼部图像的区域从所述脸部图像中裁剪出来，从而得到裁剪后的眼部图像。3.如权利要求1或2所述的眼部图像处理方法，其特征在于，所述卷积神经网络模型包括不超过5个的卷积层，和/或所述卷积神经网络模型包括不超过5个的池化层。4.如权利要求1或2所述的眼部图像处理方法，其特征在于，所述眼部变形所需数据包括左眼和右眼的中心点以及左眼和右眼的半径，其中，所述中心点和半径均由眼部的轮廓关键点的坐标计算得出。5.如权利要求1或2所述的眼部图像处理方法，其特征在于，图像的眼睛变形处理包括基于所述眼部变形所需数据，采用局部尺度变形方法，对于由所述眼部的轮廓关键点勾勒出的眼睛进行放大或缩小。6.如权利要求1或2所述的眼部图像处理方法，其特征在于，所述眼部图像包括左右眼分开的左眼图像和右眼图像，其中，通过卷积神经网络模型来预测得到眼部的轮廓关键点的坐标包括：使左眼图像和右眼图像之中的一个图像经过所述卷积神经网络模型以预测得到所述一个图像的轮廓关键点的坐标；对左眼图像和右眼图像之中的另一个图像做镜像操作，以使用所述卷积神经网络模型预测得到所述另一个图像在镜像操作后的轮廓关键点的坐标；将所述另一个图像在所述镜像操作后的轮廓关键点的坐标进行坐标变换，得到所述另一个图像在所述镜像操作前的轮廓关键点的坐标，作为所述另一个图像的轮廓关键点的坐标。7.如权利要求1或2所述的眼部图像处理方法，其特征在于，所述眼部图像包括左右眼分开的左眼图像和右眼图像，其中，通过卷积神经网络模型来预测得到眼部的轮廓关键点的坐标包括：使左眼图像通过第一卷积神经网络模型以预测得到左眼的轮廓关键点的坐标，使右眼图像通过第二卷积神经网络模型以预测得到右眼的轮廓关键点的坐标。8.一种眼部图像处理设备，其特征在于，包括：裁剪装置，被配置用于对经由人脸检测方法得到的脸部图像进行裁剪处理以得到眼部图像；卷积神经网络模型预测装置，被配置用于使经过裁剪处理得到的眼部图像通过卷积神2CN109886107A权利要求书2/2页经网络模型，以预测得到眼部的轮廓关键点的坐标；计算装置，被配置用于基于眼部的轮廓关键点的坐标，计算得到眼睛变形所需数据；以及变形执行装置，被配置用于基于所述眼睛变形所需数据，执行图像的眼睛变形处理。9.如权利要求8所述的眼部图像处理设备，其特征在于，所述裁剪处理装置包括：定位部件，被配置用于根据通过人脸检测方法得到的针对左眼和右眼的部位标记点的坐标，定位眼部图像的区域；图像大小确定部件，被配置用于根据左眼和右眼的所述部位标记点的间距来确定要裁剪得到的眼部图像的大小；裁剪执行部件，被配置用于基于确定的要裁剪得到的眼部图像的大小，把眼部图像的区域从所述脸部图像中裁剪出来，从而