AR场景中的图像处理方法、装置、电子设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110009720A(43)申请公布日2019.07.12(21)申请号201910261454.7(22)申请日2019.04.02(71)申请人百度在线网络技术（北京）有限公司地址100085北京市海淀区上地十街10号百度大厦三层(72)发明人罗志平周志鹏张丙林刘毅邓苏南(74)专利代理机构北京品源专利代理有限公司11332代理人孟金喆(51)Int.Cl.G06T15/00(2011.01)G06T15/50(2011.01)G06T19/00(2011.01)权利要求书2页说明书9页附图4页(54)发明名称AR场景中的图像处理方法、装置、电子设备及存储介质(57)摘要本发明实施例公开了一种AR场景中的图像处理方法、装置、电子设备及存储介质，其中该方法包括：获取当前实景图像对应的深度图像；获取所述深度图像对应的环境光遮蔽图像；根据虚拟光照参数，对所述环境光遮蔽图像进行着色处理。本发明实施例通过结合3D虚拟光照和深度图，根据虚拟光照参数对深度图像对应的环境光遮蔽图像进行着色处理，能够模拟三维世界光成像过程，实时点亮图像中的不清晰区域或抑制过度曝光，提高画面显示质量，带来更佳的增强现实用户体验；并且将三维场景渲染转换成二维屏幕空间的像素着色，能够极大程度的简化计算。CN110009720ACN110009720A权利要求书1/2页1.一种AR场景中的图像处理方法，其特征在于，包括：获取当前实景图像对应的深度图像；获取所述深度图像对应的环境光遮蔽图像；根据虚拟光照参数，对所述环境光遮蔽图像进行着色处理。2.根据权利要求1所述的方法，其特征在于，在获取当前实景图像对应的深度图像之前，还包括：接收输入的光照参数；实时显示测试图像在所述光照参数下的预览图；根据所述预览图调整所述光照参数，直到预览图满足预设要求；存储所述预览图满足预设要求时所对应的光照参数，作为所述虚拟光照参数。3.根据权利要求1所述的方法，其特征在于，根据虚拟光照参数，对所述环境光遮蔽图像进行着色处理，包括：读取所述虚拟光照参数；根据所述虚拟光照参数和所述当前实景图像的图像数据，对所述环境光遮蔽图像中的各像素点进行着色处理。4.根据权利要求3所述的方法，其特征在于，所述虚拟光照参数包括：光源个数、光源位置、光源颜色、光照的镜面反射、光照亮度和权重系数，其中，所述权重系数表示实景图像的图像数据与虚拟光照之间的权重；根据所述虚拟光照参数和所述当前实景图像的图像数据，对所述环境光遮蔽图像中的各像素点进行着色处理，包括：针对所述环境光遮蔽图像中的每个像素点，获取该像素点的遮蔽值，并从所述图像数据中获取与该像素点对应的像素点的像素值；按照所述虚拟光照参数中的权重系数，对所述遮蔽值、所述像素值、所述光源颜色、所述光照的镜面反射、所述光照亮度进行预设计算，将计算结果作为该像素点的新像素值。5.根据权利要求4所述的方法，其特征在于，在根据虚拟光照参数，对所述环境光遮蔽图像进行着色处理之前，还包括：获取所述当前实景图像所在环境的天气信息；根据所述天气信息实时调整所述权重系数。6.根据权利要求1所述的方法，其特征在于，获取所述深度图像对应的环境光遮蔽图像，包括：计算所述深度图像中各像素点的法线向量；根据所述各像素点的深度值和法线向量，计算所述各像素点的遮蔽值，得到所述环境光遮蔽图像；或者，确定所述深度图像中各像素点的视线方向向量；根据所述各像素点的视线方向向量，计算所述各像素点的遮蔽值，得到所述环境光遮蔽图像。7.根据权利要求1所述的方法，其特征在于，在获取当前实景图像对应的深度图像之前，还包括：利用预设的训练数据集训练深度预测模型；相应地，获取当前实景图像对应的深度图像，包括：2CN110009720A权利要求书2/2页将所述当前实景图像输入至训练后的深度预测模型，得到所述深度图像。8.根据权利要求7所述的方法，其特征在于，利用预设的训练数据集训练深度预测模型，包括：调整所述训练数据集中不同类别的数据的概率分布，使得不同类别的数据的概率分布符合预设标准。9.一种AR场景中的图像处理装置，其特征在于，包括：深度图像获取模块，用于获取当前实景图像对应的深度图像；环境光遮蔽图像获取模块，用于获取所述深度图像对应的环境光遮蔽图像；图像着色模块，用于根据虚拟光照参数，对所述环境光遮蔽图像进行着色处理。10.根据权利要求9所述的装置，其特征在于，所述装置还包括：参数接收模块，用于在获取当前实景图像对应的深度图像之前，接收输入的光照参数；显示模块，用于实时显示测试图像在所述光照参数下的预览图；参数调整模块，用于根据所述预览图调整所述光照参数，直到预览图满足预设要求；存储模块，用于存储所述预览图满足预设要求时所对应的光照参