一种面向智能手机增强现实应用程序的光照估计方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115830214A(43)申请公布日2023.03.21(21)申请号202211447179.6G06T7/90(2017.01)(22)申请日2022.11.18G06N3/0464(2023.01)G06N3/048(2023.01)(71)申请人三江学院G06N3/082(2023.01)地址210012江苏省南京市雨花台区龙西路310号(72)发明人林兆骥艾世成杨凯刘亚军姚莉(74)专利代理机构南京天翼专利代理有限责任公司32112专利代理师朱戈胜(51)Int.Cl.G06T15/50(2011.01)G06T15/04(2011.01)G06T15/20(2011.01)G06T15/08(2011.01)权利要求书2页说明书6页附图1页(54)发明名称一种面向智能手机增强现实应用程序的光照估计方法(57)摘要本发明涉及增强现实领域，尤其涉及一种面向智能手机增强现实应用程序的光照估计方法，包括：获取智能手机的前后摄像头拍摄的当前场景的图像信息；训练基于深度可分离卷积的间接光漫反射光照估计网络；将图像信息输入间接光漫反射光照估计网络进行特征提取及融合实现间接光漫反射估计；基于后置摄像头输入的图像信息，构建初始立方体映射纹理，用于临时渲染；随后构建精确立方体映射纹理，得到间接光镜面反射估计；根据构建的精确立方体映射纹理计算直接光照估计；输出光照估计结果。本发明能够满足移动端增强现实应用程序的光照估计需求。CN115830214ACN115830214A权利要求书1/2页1.一种面向智能手机的增强现实应用程序光照估计方法，其特征在于：包括步骤1：获取智能手机的前后摄像头拍摄的当前场景的图像信息；步骤2：基于图像信息进行光照估计，包括：步骤201：训练基于深度可分离卷积的间接光漫反射光照估计网络；将图像信息输入间接光漫反射光照估计网络进行特征提取及融合实现间接光漫反射估计；步骤202：基于后置摄像头输入的图像信息，构建初始立方体映射纹理，用于临时渲染；随后构建精确立方体映射纹理，得到间接光镜面反射估计；步骤203：根据构建的精确立方体映射纹理计算直接光照估计；步骤3：输出光照估计结果。2.根据权利要求1所述的面向智能手机的增强现实应用程序光照估计方法，其特征在于：步骤201具体包括：步骤2011：将步骤1获取的两幅图像尺寸进行压缩；步骤2012：将压缩后的图像输入训练后的基于深度可分离卷积的图像特征提取神经网络；图像特征提取神经网络由若干深度可分离卷积子模块构成，针对移动设备运算性能有限的平台特点，深度可分离卷积子模块在激活层使用称为hardswish的如下激活函数：其中，x表示激活函数的输入值；步骤2013：将步骤2012获得的图像特征进行拼接融合，通过全连接层，最终获得环境间接光漫反射光照估计结果，以3阶球面谐波系数的形式表示。3.根据权利要求1所述的面向智能手机的增强现实应用程序光照估计方法，其特征在于：步骤201中，训练间接光漫反射光照估计网络的方法包括：步骤A：准备数据集，数据集中的每个数据样本包含：前后摄像头分别拍摄的两张图像和当前场景的球面谐波系数参考值；步骤B：初始化深度可分离卷积网络权值；步骤C：向深度可分离卷积网络输入图像数据，经过各层计算得到输出值；步骤D：求深度可分离卷积网络的输出与参考真实值之间的误差；步骤E：当误差大于期望值时，将误差传回网络，依次求得各层误差；步骤F：根据误差更新权值；步骤G：重新开始执行步骤B及后续步骤，直到达到设定的轮次上限，或者输出误差小于等于期望值。4.根据权利要求1所述的面向智能手机的增强现实应用程序光照估计方法，其特征在于：步骤202包括：步骤2021：立方体映射纹理由六个面构成；使用后置摄像头拍摄一张图像，并进行尺寸调整后，将其应用于立方体映射纹理的全部六个朝向面，以构建初始立方体映射纹理；初始立方体映射纹理将在进行步骤2022至步骤2023期间临时用于增强现实应用程序的虚拟物体渲染；步骤2022：对于立方体映射纹理每个面，设置一个标志变量记录是否已更新该立方体面；2CN115830214A权利要求书2/2页初始状态下，设置所有标志变量为未更新状态；步骤2023：在使用者旋转手机时，读取手机内角运动检测装置的运动记录，并检查设备当前朝向的立方体面是否已更新纹理；若尚未更新纹理，则将当前相机获取的图像更新到纹理缓存中，并将当前面的标志变量设置为已更新状态；当所有六个面的标志变量都设置为已更新时，则完成了精确立方体映射纹理的构建，获得间接光镜面反射估计。5.根据权利要求1所述的面向智能手机的增强现实应用程序光照估计方法，其特征在于：步骤203包括：步骤2031：对构建完成的精确立方体映射纹理的每个面，