图像处理方法、视频处理方法、装置、设备和存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111882627A(43)申请公布日2020.11.03(21)申请号202010699836.0(22)申请日2020.07.20(71)申请人广州市百果园信息技术有限公司地址510000广东省广州市番禺区市桥街兴泰路274号C栋西塔5-13层(72)发明人章菲倩(74)专利代理机构北京品源专利代理有限公司11332代理人孟金喆(51)Int.Cl.G06T13/40(2011.01)G06T15/00(2011.01)权利要求书3页说明书10页附图7页(54)发明名称图像处理方法、视频处理方法、装置、设备和存储介质(57)摘要本发明实施例公开了一种图像处理方法、视频处理方法、装置、设备和存储介质，图像处理方法包括：从包含脸部的初始图像中提取人眼关键点和生成人眼蒙版；根据人眼关键点和预设眼球数据生成初始眼球渲染图像；根据人眼关键点确定眼白区域；基于眼白区域对初始眼球渲染图像进行色彩校正获得目标眼球渲染图像；根据人眼蒙版对目标眼球渲染图像和初始图像进行混合获得目标图像。本发明实施例通过眼球旋转方向和纹理等眼球数据生成初始眼球渲染图像，并进行色彩校正以及采用人眼蒙版混合眼球渲染图像和初始图像，既无需搜集大量各种样式的眼球图像，又使得眼球图像自然地融入视频图像中，从而获得理想的眼睛编辑效果，使得视频人脸具有丰富的人脸表情。CN111882627ACN111882627A权利要求书1/3页1.一种图像处理方法，其特征在于，包括：从包含脸部的初始图像中提取人眼关键点和生成人眼蒙版；根据所述人眼关键点和预设眼球数据生成初始眼球渲染图像；根据所述人眼关键点确定眼白区域；基于所述眼白区域对所述初始眼球渲染图像进行色彩校正获得目标眼球渲染图像；根据所述人眼蒙版对所述目标眼球渲染图像和所述初始图像进行混合获得目标图像。2.根据权利要求1所述的图像处理方法，其特征在于，所述从包含脸部的初始图像中提取人眼关键点和生成人眼蒙版，包括：对所述初始图像进行人脸关键点检测获得人眼关键点；依次连接各个人眼关键点获得人眼区域；将所述人眼区域作为选区以生成所述初始图像的人眼蒙版。3.根据权利要求2所述的图像处理方法，其特征在于，所述将所述人眼区域作为选区以生成所述初始图像的人眼蒙版，包括：生成以所述人眼区域为选区的初始人眼蒙版；对所述初始人眼蒙版进行模糊处理获得最终人眼蒙版。4.根据权利要求1所述的图像处理方法，其特征在于，所述预设眼球数据包括眼球旋转方向和眼球纹理，所述根据所述人眼关键点和预设眼球数据生成初始眼球渲染图像，包括：采用所述人眼关键点计算人眼中心点；采用所述人眼中心点、所述眼球旋转方向以及所述眼球纹理生成初始眼球渲染图像。5.根据权利要求4所述的图像处理方法，其特征在于，所述人眼关键点包括眼部关键点，所述采用所述人眼关键点计算人眼中心点，包括：获取所述眼部关键点的坐标；计算所述坐标的均值作为人眼中心点。6.根据权利要求4所述的图像处理方法，其特征在于，所述采用所述人眼中心点、所述眼球旋转方向以及所述眼球纹理生成初始眼球渲染图像，包括：采用所述人眼中心点、所述眼球旋转方向以及所述眼球纹理调整预先设置的眼球网格模型获得初始眼球渲染图像。7.根据权利要求1所述的图像处理方法，其特征在于，所述人眼关键点包括眼部关键点和瞳孔关键点，所述根据所述人眼关键点确定眼白区域，包括：依次连接各个眼部关键点获得眼部区域，以及依次连接各个瞳孔关键点获得瞳孔区域；在所述眼部区域排除所述瞳孔区域获得眼白区域。8.根据权利要求1所述的图像处理方法，其特征在于，所述基于所述眼白区域对所述初始眼球渲染图像进行色彩校正获得目标眼球渲染图像，包括：分别计算所述眼白区域和所述初始眼球渲染图像的像素值均值得到第一像素值均值和第二像素值均值；计算所述第一像素值均值与所述第二像素值均值的比值作为色彩校正系数；将所述初始眼球渲染图像的像素值校正为校正前的像素值与所述色彩校正系数的乘积，得到目标眼球渲染图像。2CN111882627A权利要求书2/3页9.根据权利要求1-8任一项所述的图像处理方法，其特征在于，所述人眼蒙版为以人眼区域为选区的蒙版，所述根据所述人眼蒙版对所述目标眼球渲染图像和所述初始图像进行混合获得目标图像，包括：将所述目标眼球渲染图像覆盖至所述人眼蒙版的选区中；采用所述人眼蒙版对位于所述选区中的所述目标眼球渲染图像，以及位于非选区中的所述初始图像进行混合获得目标图像。10.根据权利要求9所述的图像处理方法，其特征在于，所述采用所述人眼蒙版对位于所述选区中的所述目标眼球渲染图像，以及位于非选区中的所述初始图像进行混合获得目标图像，包括：计算所述人眼蒙版的像素值与白色的像素值的比值；计算所述比值与所述目标