一种基于卷积神经网络的头发分割方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114187309A(43)申请公布日2022.03.15(21)申请号202210025451.5G06K9/62(2022.01)(22)申请日2022.01.11G06N3/04(2006.01)G06N3/08(2006.01)(71)申请人盛视科技股份有限公司G06N5/04(2006.01)地址518000广东省深圳市福田区华富街G06V10/28(2022.01)道莲花一村社区彩田路7018号新浩壹G06V10/762(2022.01)都A4201-4206(整层)、43整层、45整层(72)发明人李山路王和平陈海涛洪志阳付磊欧阳一村(74)专利代理机构深圳市正威知识产权代理事务所(特殊普通合伙)44643代理人柳大江(51)Int.Cl.G06T7/11(2017.01)G06T7/13(2017.01)G06T7/70(2017.01)权利要求书3页说明书8页附图5页(54)发明名称一种基于卷积神经网络的头发分割方法及系统(57)摘要本发明涉及图像处理技术领域，具体是一种基于卷积神经网络的头发分割方法及系统，方法包括：获取视频流图像步骤：从摄像头中获取视频流，将视频流分帧，形成一张张图像，方面后续处理；确定人脸区域步骤：利用人脸检测模型检测人脸位置，确定人脸区域。本发明的有益效果通过全新的卷积神经网络模型(头发全卷积网络模型)，并结合图片中图像中头发位置信息、头发的频率信息及头发的颜色信息，便可以准确地识别图像的头发区域，通过人脸检测算法RetinaFace检测人脸，确定头发区域大致位置，防止大背景下其他类似头发目标的干扰，利用BiSeNet双通道分割网络实时实现头发分割，可以实现自动识别，无需人工参与。CN114187309ACN114187309A权利要求书1/3页1.一种基于卷积神经网络的头发分割方法，其特征在于，包括以下步骤：获取视频流图像步骤：获取并将视频流分帧处理；确定人脸区域步骤：利用人脸检测模型检测确定人脸区域；图像处理步骤：基于人脸区域裁剪出人脸图片，输入头发分割网络BiSeNet，得到与输入人脸图片相同尺寸的二值化图像；得到二值化图像步骤：将人脸图片和二值化图像用canny算子求边缘，得到头发边缘二值化图像；扩充增加边缘区域步骤：根据边缘二值化图像的像素点位置向周边扩充增加边缘区域；做k‑means聚类步骤：利用人脸图片的扩充边缘区域位置的颜色值为特征做k‑means聚类；合并结果步骤：合并k‑means聚类结果与BiSeNet二值化分割结果，合并二值化图像中像素值为1的位置是为头发区域，在人脸图片中相应区域做对应标记以分割头发区域。2.根据权利要求1所述的一种基于卷积神经网络的头发分割方法，其特征在于：所述确定人脸区域步骤包括：确定人脸初步区域子步骤：使用人脸检测算法RetinaFace首先确定人脸初步区域；检测到人脸子步骤：图像中如果有人脸，会返回人脸区域bbox，bbox坐标为(x1，y1，x2，y2)，分别对应人脸左上、右下两个点的坐标。3.根据权利要求2所述的一种基于卷积神经网络的头发分割方法，其特征在于：图像处理步骤包括：训练子步骤：利用人脸图片及标注了头发区域的二值图片训练BiSeNet；生成二值化图像步骤：输入人脸图片到BiSeNet，完成推理，生成与输入人脸图片相同尺寸的二值化图像；裁剪包含头发的人脸图片的步骤如下：裁剪子步骤：根据检测到人脸步骤得到的人脸矩形框bbox，裁剪完全包含头发区域的人脸，其中bbox的宽w等于x2‑x1，高h等于y2‑y1，设定裁剪尺度为s倍，所以裁剪坐标为(x1‑sw/4,y1‑sh/4,x2+sw/4,y2+sh/4)。4.根据权利要求3所述的一种基于卷积神经网络的头发分割方法，其特征在于：在所述训练子步骤中，对应图片标注的步骤如下：图片标注孙子步骤：标注时头发区域的像素点为正样本，人脸图像除头发区域的其他部分均做背景，为负样本。5.根据权利要求3所述的一种基于卷积神经网络的头发分割方法，其特征在于：在所述训练子步骤中，对应二值图片训练BiSeNet的步骤如下：训练图像增强过渡孙子步骤：训练从磁盘读入的图片及对应二值标注图片大小均为1024*1024，通过设置scales变换参数为[0.1,0.5]，cropsize为；在训练中先随机从0.1到0.5均匀分布取值S，再将图片及对应二值标注同时resize到(1024*S)*(1024*S)的大小；若1024*S大于256，则需在图片及对应二值标注中随机裁剪出256*256的图像块参与训练，若1024*S小于256，则需在图片及对应二值标注周围补0，四周补零像素点个数为(256‑1024*S)/2；水平翻转孙子步骤：