一种基于GPU的实时图像视频油画风格化方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111951345A(43)申请公布日2020.11.17(21)申请号202010794522.9(22)申请日2020.08.10(71)申请人杭州趣维科技有限公司地址310000浙江省杭州市西湖区天目山路294号杭钢、冶金科技大厦16层(72)发明人张金矿熊永春(74)专利代理机构杭州橙知果专利代理事务所(特殊普通合伙)33261代理人贺龙萍(51)Int.Cl.G06T11/00(2006.01)G06T3/00(2006.01)G06K9/62(2006.01)G06T7/13(2017.01)G06T7/44(2017.01)权利要求书2页说明书5页附图1页(54)发明名称一种基于GPU的实时图像视频油画风格化方法(57)摘要本发明公开了一种基于GPU的实时图像视频油画风格化方法。它具体包括如下步骤：加载图片生成图像纹理，加载背景图片生成背景纹理；加载参数，包括图层参数、融合参数、高度参数、光照参数；根据图层参数执行分层渲染得到图层纹理；使用索贝尔算子对图像纹理进行边缘提取，然后使用高斯模糊平滑和线积分卷积得到高度纹理；根据融合参数融合背景纹理、图层纹理、图像纹理和高度纹理；最后根据纹理图片的像素颜色值估计每个对应像素坐标uv的法向量，按照Phone光照模型选择合适参数处理纹理图片增加纹理光照细节；渲染最终纹理到屏幕；转换最终纹理到图片并保存。本发明的有益效果是：实时风格化转换；达到分层绘画的效果；输出各样风格效果。CN111951345ACN111951345A权利要求书1/2页1.一种基于GPU的实时图像视频油画风格化方法，其特征是，具体包括如下步骤：(1)加载图片生成图像纹理，加载背景图片生成背景纹理；(2)加载参数，包括图层参数、融合参数、高度参数、光照参数；(3)根据图层参数执行分层渲染得到图层纹理；(4)使用索贝尔Sobel算子对图像纹理进行边缘提取，然后使用高斯模糊平滑和线积分卷积得到高度纹理；(5)根据融合参数融合背景纹理、图层纹理、图像纹理和高度纹理；(6)最后根据纹理图片的像素颜色值估计每个对应像素坐标uv的法向量，按照Phone光照模型选择合适参数处理纹理图片，增加纹理光照细节；(7)渲染最终纹理到屏幕；(8)转换最终纹理到图片并保存。2.根据权利要求1所述的一种基于GPU的实时图像视频油画风格化方法，其特征是，在步骤(3)中，分层渲染采用了在GPU中分层绘制的方法，采用每一个图层串行地在GPU中绘制，当前图层接受上一图层的纹理输出并用片段着色器进行处理，最后把处理的结果输出到新的纹理供下一图层使用，每一图层的参数如下：Quality：代表当前层所能还原的最大图像质量，控制笔刷的密集度，该值越大代表笔刷越密集所能还原的图像质量越高；BrushTexture：笔刷纹理，每一层都能接受一个不同的笔刷纹理，每个uv点在该纹理上采样，基于该纹理生成特定笔刷的样式；BrushWidth：笔刷半径，代表与Cell大小的比例，用以缩放笔刷纹理；Aspect：笔刷的长宽比，大的长宽比能够产生更加抽象的风格效果；Detail：根据图像在当前Cell的像素梯度的模来控制该Cell的笔刷是否应该被绘制，表示保留的细节程度，颜色变化越大像素梯度的模越大则该笔刷更能表现细节；Delta：根据上一图层当前Cell的像素与原始图像像素差异来控制当前Cell的笔刷是否应该被绘制；Force：当前uv点与上一层纹理融合时的融合比例，用以表示该层笔刷绘制时的力度；Noise：噪音强度；每一个图层都会有一个quality参数表示该图层最大能表现的图像质量，取值范围为0～1，并且根据quality把图像网格化为Cell，Cell的个数为NImage·quality，NImage为图像的像素个数，则每个Cell的大小为然后基于每个Cell生成笔刷，GPU中处理只能以每个纹理的uv点进行处理，因此需要在每一个图层计算当前uv点的颜色时计算该uv点所属的笔刷并且在该笔刷中的位置。3.根据权利要求2所述的一种基于GPU的实时图像视频油画风格化方法，其特征是，分层绘制的具体流程如下：(31)绑定上一图层的输出纹理和原始图片纹理以及当前图层参数到GPU自定义着色器中；(32)根据Quality划分Cell，计算每个Cell的大小，根据BrushWidth和Aspect计算笔刷的长宽以每个Cell为中心绘制笔刷，根据Quality计算该层像素采样时的所使用的细节层2CN111951345A权利要求书2/2页LOD和采样偏移PixelOffset；(33)计算当前uv所在的Cell；(34)根据当前Cell遍历周围邻域内的Cell进行笔刷的绘制得到该uv点最终的颜色；(3