一种基于虚拟阴影图的增强现实实时阴影生成方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112419472A(43)申请公布日2021.02.26(21)申请号201910783240.6(22)申请日2019.08.23(71)申请人南京理工大学地址210094江苏省南京市玄武区孝陵卫200号(72)发明人李奇王汉梅嘉琳姚亮蒋素琴苏智勇(74)专利代理机构南京理工大学专利中心32203代理人薛云燕(51)Int.Cl.G06T15/60(2006.01)G06T19/00(2011.01)权利要求书2页说明书7页附图4页(54)发明名称一种基于虚拟阴影图的增强现实实时阴影生成方法(57)摘要本发明公开了一种基于虚拟阴影图的增强现实实时阴影生成方法。该方法为：首先获取当前设备数据，对场景中的光源方向和光照强度进行估计；通过摄像机获取当前场景视频，将图像分为阴影区域和非阴影区域；通过深度相机获取视频深度信息，得到三维空间坐标，并转换至灯光空间；然后根据光源方向渲染阴影图，将现实场景中的阴影区域渲染至阴影图中，构建二值阴影图；接着将虚拟对象顶点变换至阴影图空间，根据二值阴影图判断当前顶点是否处于阴影之中，是则渲染阴影效果，否则渲染光照效果，并生成阴影；最后生成3D虚拟对象，与当前场景图像融合后输出显示。本发明计算效率高，可以实现移动增强现实中全部阴影和局部阴影的生成。CN112419472ACN112419472A权利要求书1/2页1.一种基于虚拟阴影图的增强现实实时阴影生成方法，其特征在于，包括以下步骤：步骤1、获取当前设备数据，对场景中的光源方向和光照强度进行估计；步骤2、通过摄像机获取当前场景视频，进行阴影检测，将图像分为阴影区域和非阴影区域；步骤3、通过深度相机获取视频深度信息，得到三维空间坐标，将三维空间坐标转换至灯光空间；步骤4、根据光源方向渲染阴影图，将现实场景中的阴影区域渲染至阴影图中，用0、1标识阴影区域与非阴影区域，构建二值阴影图；步骤5、将虚拟对象顶点变换至阴影图空间，根据二值阴影图判断当前顶点是否处于阴影之中，若处于阴影之中则渲染阴影效果，否则渲染光照效果，并生成阴影；步骤6、生成渲染的3D虚拟对象，将当前场景图像与渲染的3D虚拟对象融合后输出显示。2.根据权利要求1所述的基于虚拟阴影图的增强现实实时阴影生成方法，其特征在于，步骤1所述的获取当前设备数据，对场景中的光源方向和光照强度进行估计，具体如下：从GPS传感器获得当地纬度，从时间计数器获得此时的日期和时间，根据以上信息通过天文年历计算太阳天顶角与方位角；从ALS传感器获得绝对日光照度，根据天气API获得的天气信息计算出此时的直射光照EDH和漫射光照分量EKH，根据太阳的天顶角与方位角即可确定光源方向，光照强度E通过E＝EDH+EKH求得。3.根据权利要求1所述的基于虚拟阴影图的增强现实实时阴影生成方法，其特征在于，步骤2所述的通过摄像机获取当前场景视频，进行阴影检测，将图像分为阴影区域和非阴影区域，具体如下：步骤2.1、获取当前设备摄像机所捕获的当前场景图像，统计图像像素的RGB颜色值，计算RGB三通道的平均值，获取最大信道图像Fmax和最小信道图像Fmin，对最大信道图像Fmax与最小信道图像Fmin做差获得差值图像Fsub；步骤2.2、对原始图像进行灰度化处理，并将获得的灰度图像Fgray通过加权系数α叠加至差值图像，得到叠加图像Fsum，通过阈值T对Fsum进行二值化，以获得图像的阴影区域，其中加权系数α和阈值T通过迭代反馈计算获得。4.根据权利要求1所述的基于虚拟阴影图的增强现实实时阴影生成方法，其特征在于，步骤3所述的通过深度相机获取视频深度信息，得到三维空间坐标，将三维空间坐标转换至灯光空间，具体如下：步骤3.1、通过摄像机设备获取当前场景视频帧图像Fcolor，通过深度相机设备获取当前场景深度图像Fdepth，对齐Fcolor和Fdepth，对于Fcolor中的每个像素P，计算得到Fdepth中的对应深度信息D，经变换得像素P在视点相机坐标系中的三维信息[XviewYviewZview]；步骤3.2、对摄像机捕获的视频帧相邻两帧Fk-1与Fk进行匹配，得到n组特征点对，通过PnP算法求解相机位姿矩阵R、t，其中，R为旋转矩阵，t为平移矩阵，基于R、t矩阵将视点相机空间坐标转换至世界坐标系下。5.根据权利要求1所述的基于虚拟阴影图的增强现实实时阴影生成方法，其特征在于，步骤4所述的根据光源方向渲染阴影图，将现实场景中的阴影区域渲染至阴影图中，用0、1标识阴影区域与非阴影区域，构建二值阴影图，具体如下：2CN112419472A权利要求书2/2页步骤4.1、根据步骤1中估计的光源方向，得到投影矩阵P，基于P将世界坐标转换至阴影图空间；步骤4.2、基于