AR天空特效渲染方法、系统、电子设备和可读存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN116168133A(43)申请公布日2023.05.26(21)申请号202211600608.9G06N3/08(2023.01)(22)申请日2022.12.12(71)申请人杭州易现先进科技有限公司地址311200浙江省杭州市萧山区钱江世纪公园C区6幢102室(72)发明人朱红林陈志国丛林王海山(74)专利代理机构杭州创智卓英知识产权代理事务所(普通合伙)33324专利代理师唐超文(51)Int.Cl.G06T15/00(2011.01)G06T5/50(2006.01)G06T7/10(2017.01)G06N3/0464(2023.01)G06N3/045(2023.01)权利要求书2页说明书9页附图3页(54)发明名称AR天空特效渲染方法、系统、电子设备和可读存储介质(57)摘要本申请涉及一种AR天空特效渲染方法，其中，该方法包括：通过预设天空分割算法，获取包含天空分割信息的灰度图；按照时间顺序，对多张灰度图添加序列标记并将其拼接为一张时序灰度图；对时序灰度图，通过对称加权平均法进行混合，得到混合灰度图；获取特效内容和相机画面纹理，基于混合灰度图、特效内容和相机画面纹理进行渲染着色，生成包含AR内容的增强现实画面。通过本申请，可以解决现有方式中的边界跳动以及不连续的问题，同时，也可实现对灰度图中天空区域的边界柔化处理，优化了非天空区域的轮廓曲线。CN116168133ACN116168133A权利要求书1/2页1.一种AR天空特效渲染方法，其特征在于，应用在终端设备上，所述方法包括：通过预设天空分割算法，获取包含天空分割信息的灰度图；按照时间顺序，对多张灰度图添加序列标记并将其拼接为一张时序灰度图，其中，标记为N的灰度图是当前灰度图，第N‑1张灰度图至第1张灰度图按照时间倒序排列；对所述时序灰度图，通过对称加权平均法进行混合，得到混合灰度图；获取特效内容和相机画面纹理，基于所述混合灰度图、特效内容和相机画面纹理进行渲染着色，生成包含AR内容的增强现实画面。2.根据权利要求1所述的方法，其特征在于，对所述时序灰度图，通过对称加权平均法进行混合，包括：通过如下公式，对添加标记的多张灰度图进行混合处理：其中，ri是第i张灰度图的r通道参数，r是混合之后灰度图的r通道参数，Pi是第i张图的加权值，N是当前灰度图的序列，Nb是影响权重参数。3.根据权利要求2所述的方法，其特征在于，所述灰度图采用R、G、B三个通道，且每个通道的参数值相等，其中，在目标位置的通道参数值为1的情况下，该目标位置是天空区域，在目标位置的通道参数值为0的情况下，该目标位置是非天空区域，当目标位置的通道参数值介于1和0之间的情况下，所述通道参数用于指示该目标位置是天空区域或非天空区域的置信度。4.根据权利要求2所述的方法，其特征在于，所述通过预设天空分割算法，从相机画面中获取包含天空分割信息的灰度图，包括：终端设备实时获取相机画面，对所述相机画面进行预处理，得到相机画面纹理；通过所述预设天空分割算法对所述相机画面纹理进行分割处理，生成包含天空分割信息的灰度图。5.根据权利要求4所述的方法，其特征在于，基于所述混合灰度图、特效内容和相机画面纹理进行渲染着色，包括：将所述混合灰度图、所述特效内容和所述相机画面纹理，进行alpha混合，生成包含AR特效的增强现实画面，其中，在所述alpha混合过程中，对实时画面和特效内容的纹理采用逐像素叠加。6.根据权利要求5所述的方法，其特征在于，所述方法还包括：将所述时序灰度图、所述特效内容和所述相机画面纹理输入着色器；通过所述着色器进行加权平均混合以及alpha混合，其中，所述着色器的输入参数包括：当前灰度图的序列和所述影响权重参数；2CN116168133A权利要求书2/2页在alpha混合过程中，通过变更所述着色器的输入参数，对加权平均混合效果进行实时动态调整。7.根据权利要求5所述的方法，其特征在于，通过所述预设天空分割算法对所述相机画面纹理进行处理，生成包含天空分割信息的灰度图，包括：将所述相机画面纹理缩放为预设尺寸，并将所述相机画面纹理的空间分辨率转换为通道数；通过encode模块，对所述预设尺寸的相机画面纹理进行多层卷积运算，得到多个卷积参数和多个不同尺寸的特征图；通过decode模块，在第一网络分支，对不同层的卷积参数进行运算，得到mask基准；通过weight模块，在第二分支输出卷积参数，并根据第二分支输出的卷积参数，对第一分支输出的mask基准进行卷积运算，输出所述灰度图，其中，所述灰度图是预设分辨率。8.一种AR天空特效渲染系统，其特征在于，应用在终端设备上，所述系统包括：天空分割模块、时序排列模块和着色器模块，其中，所述天空分割模块