一种基于tof相机软分割的人像头部背景虚化方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110111239A(43)申请公布日2019.08.09(21)申请号201910348618.XG06T7/90(2017.01)(22)申请日2019.04.28(71)申请人叠境数字科技（上海）有限公司地址200031上海市浦东新区环科路515号1幢1402-1403室(72)发明人马原曦王岑张迎梁(74)专利代理机构上海京沪专利代理事务所(普通合伙)31235代理人周晓玲(51)Int.Cl.G06T3/00(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)G06T5/00(2006.01)G06T7/194(2017.01)权利要求书2页说明书6页附图2页(54)发明名称一种基于tof相机软分割的人像头部背景虚化方法(57)摘要本发明公开了一种基于tof相机软分割的人像头部背景虚化方法，包括步骤S1：分析人像头部噪声，步骤S2：提取tof相机下的基于深度学习的语义信息，步骤S3：进行基于tof相机下的头部软分割，步骤S4：利用所述软分割权重和tof参数的高斯卷积对整张照片卷积处理，实现人像背景的虚化。本发明利用软分割技术(alphamatting)来大大优化人像模式的效果。利用本发明的技术可以把人像边缘的发丝信息全部保留，而虚化不属于人部分的背景信息。把本发明的算法集成到手机显卡中之后，拍摄虚化速度和苹果手机拍摄速度基本相同。CN110111239ACN110111239A权利要求书1/2页1.一种基于tof相机软分割的人像头部背景虚化方法，其特征在于，包括以下步骤：步骤S1：分析人像头部噪声，利用tof相机对所述人像头发部分进行连续实验分析，最后得出所述人像头发部分在tof相机下的噪声特征；步骤S2：提取tof相机下的基于深度学习的语义信息，采集人像不同角度的照片，使用手工标注的方式对人像头部进行分割，每张照片包括tof深度信息，将RGBD信息输入神经网络，并输出为头发遮蔽层信息；在对所述神经网络训练后，把所述神经网络的编码器中的第二层和解码器部分的倒数第二层提出，合并为语义信息；利用度量学习对所述神经网络进行二次学习，使得属于同类的语义信息更加接近，不同类的语义信息距离更加远，最终得到多维语义信息；步骤S3：基于tof相机下的头部软分割，构建整张图片的拉普拉斯矩阵，融合图片的低维特征信息、高维图片语义信息以及tof相机的噪声信息，在求解头发软分割参数，最后结合tof相机获取面部以及身体信息，得到最终软分割结果，即人像中每一个像素的软分割权重；步骤S4：利用所述软分割权重和tof参数的高斯卷积对整张照片卷积处理，实现人像背景的虚化。2.如权利要求1所述的基于tof相机软分割的人像头部背景虚化方法，其特征在于，所述噪声特征的提取需要对每一个像素点的噪声特征进行提取，所述每一个像素点的噪声特征通过4维特征向量体现，所述4维特征向量为：其中，V为8*8核下的方差信息。3.如权利要求1所述的基于tof相机软分割的人像头部背景虚化方法，其特征在于，所述神经网络中的噪声检测模块是通过利用所述神经网络两层之间相减实现的。4.如权利要求2所述的基于tof相机软分割的人像头部背景虚化方法，其特征在于，所述步骤S3基于tof相机下的头部软分割，还包括以下步骤：步骤S3-1、获得低维度图片特征信息：对所述人像照片进行超像素的分割，得到多个超像素值，对每一个超像素求得超像素平均值，然后获取低维度图片特征信息，即颜色矩阵；步骤S3-2、获得高维度语义信息：利用训练好的特征提取神经网络，对所述人像照片的每一个像素值映射为一个15维的语义信息，最后求得语义权重矩阵；步骤S3-3、获得tof噪声信息：对所述人像照片进行噪声特征提取，提取后，每一个像素值都可以被映射为一个所述4维的特征向量，最后求得噪声权重矩阵；步骤S3-4、获得优化矩阵和优化方程：联合以上所述颜色矩阵、语义权重矩阵、噪声权重矩阵，以及所述软分割基础矩阵，得到最终优化矩阵形式，再联合多种约束，得到最终的优化方程。5.如权利要求4所述的基于tof相机软分割的人像头部背景虚化方法，其特征在于，所2CN110111239A权利要求书2/2页述图片颜色矩阵为：其中，Cs和Ct为两个超像素值的颜色平均，a和b均为可调节参数，erf为高斯距离方差。6.如权利要求5所述的基于tof相机软分割的人像头部背景虚化方法，其特征在于，所述语义权重矩阵为：其中，f为神经网络提取的15维度信息，a和b为可调节参数。7.如权利要求6所述的基于tof相机软分割的人像头部背景虚化方法，其特征在于，所述噪声权重矩阵：其中，g为四维噪声权重信息，a和b为可调节参数。8.如权利要求7所述的基于tof相机软