一种基于光照渲染的AR场景的虚拟雕刻方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112242004A(43)申请公布日2021.01.19(21)申请号201910639842.4(22)申请日2019.07.16(71)申请人华中科技大学地址430074湖北省武汉市洪山区珞喻路1037号(72)发明人薛志东赵路曾喻江区士颀陈维亚周成汪元(74)专利代理机构华中科技大学专利中心42201代理人李智曹葆青(51)Int.Cl.G06T19/00(2011.01)G06T15/50(2011.01)G06T15/06(2011.01)权利要求书2页说明书6页附图9页(54)发明名称一种基于光照渲染的AR场景的虚拟雕刻方法及系统(57)摘要本发明公开了一种基于光照渲染的AR场景的虚拟雕刻方法及系统，属于图像处理领域。包括：对移动终端摄像头采集到的AR场景图像，识别出待雕刻目标物；从待雕刻目标物分割出雕刻区域；根据输入的雕刻内容参数，生成雕刻内容；对雕刻内容进行布局，得到原始雕刻内容图像；根据原始雕刻内容图像各像素的位置信息，计算各像素对应的深度，生成雕刻内容的三维模型；根据光照方向和光照强度，对雕刻内容的三维模型进行光照渲染，并映射到二维平面，得到光照渲染后图像；根据雕刻区域，将光照渲染后图像与AR场景图像进行合成，得到虚拟雕刻后图像。本发明对光照相关参数进行估计，对雕刻内容进行光照渲染，使得雕刻内容的光照效果与AR场景具有一致性。CN112242004ACN112242004A权利要求书1/2页1.一种基于光照渲染的AR场景的虚拟雕刻方法，其特征在于，该方法包括以下步骤：S1.对移动终端摄像头采集到的AR场景图像，识别出待雕刻目标物；S2.从待雕刻目标物分割出雕刻区域；S3.根据输入的雕刻内容参数，生成雕刻内容；S4.对雕刻内容进行布局，得到原始雕刻内容图像；S5.根据原始雕刻内容图像各像素的位置信息，计算各像素对应的深度，生成雕刻内容的三维模型；S6.根据光照方向和光照强度，对雕刻内容的三维模型进行光照渲染，并映射到二维平面，得到光照渲染后图像；S7.根据雕刻区域，将光照渲染后图像与AR场景图像进行合成，得到虚拟雕刻后图像。2.如权利要求1所述的方法，其特征在于，步骤S3中，输入雕刻内容信息的方式有以下两种：1)自定义书写方式，由终端设备绘制而来，同时输入字符的颜色；2)标准输入方式，由字符、字体、大小、粗细、颜色组成。3.如权利要求1所述的方法，其特征在于，步骤S5中，像素的深度计算公式如下：dep(x，y)＝ln(dist(x，y)-1)其中，(x，y)表示雕刻内容中像素的位置信息，dist(x，y)为坐标为(x，y)的像素到雕刻内容边缘的最短距离。4.如权利要求3所述的方法，其特征在于，步骤S5中，将平面坐标(x，y)及其对应的深度dep(x，y)组合为(x，y，d)，作为带有深度信息的雕刻内容图像的像素点。5.如权利要求1所述的方法，其特征在于，步骤S6包括以下步骤：S601.根据时间及移动终端的地理位置信息，确定光照方向向量，根据该地理位置信息的天气信息和移动终端摄像头的感光强度，获得光照强度；S602.根据光照强度、光照方向向量，建立光源，采用局部光照模型和光线追踪算法对雕刻内容的三维模型进行光照渲染；S603.由雕刻内容三维模型法线方向视图映射到二维平面，生成经光照渲染后的图像。6.如权利要求1所述的方法，其特征在于，步骤S7包括以下步骤：S701.对原始雕刻内容图像进行二值化处理，生成雕刻内容掩模；S702.根据雕刻内容掩模直接取反，得到背景掩模；S703.利用雕刻内容掩模从经光照渲染模块渲染后的图像中提取雕刻内容部分，利用背景掩模从雕刻区域图像中提取背景部分，将两部分进行叠加，得到叠加后的图像；S704.利用叠加后的图像替换AR场景图像中的雕刻区域，得到雕刻后的目标图像。7.如权利要求1所述的方法，其特征在于，步骤S5还包括：根据输入的纹理信息，生成雕刻内容的纹理图像；将雕刻内容的三维模型与雕刻内容的纹理图像进行映射，得到纹理映射后的雕刻内容的三维模型。8.如权利要求1所述的方法，其特征在于，步骤S5还包括：根据待雕刻区域的纹理信息，生成雕刻内容的纹理图像；将雕刻内容的三维模型与雕刻内容的纹理图像进行映射，得到纹理映射后的雕刻内容的三维模型。9.一种基于光照渲染的AR场景的虚拟雕刻系统，其特征在于，该系统包括：AR模块、雕刻内容生成与布局模块、雕刻深度提取模块、光照渲染模块、图像合成模块；2CN112242004A权利要求书2/2页所述AR模块，用于对移动终端摄像头采集到的AR场景图像，识别出待雕刻目标物，从待雕刻目标物分割出雕刻区域；所述雕刻内容生成与布局模块，用于根据输入的雕刻内容参数，生成雕刻内容，对雕刻内