图像渲染方法及系统、VR设备、装置及可读存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112164016A(43)申请公布日2021.01.01(21)申请号202011011561.3G06T1/20(2006.01)(22)申请日2020.09.23G06F3/01(2006.01)(71)申请人京东方科技集团股份有限公司地址100015北京市朝阳区酒仙桥路10号申请人北京京东方光电科技有限公司(72)发明人孙建康张浩陈丽莉(74)专利代理机构北京志霖恒远知识产权代理事务所(普通合伙)11435代理人刘进(51)Int.Cl.G06T5/50(2006.01)G06T3/40(2006.01)G06T7/13(2017.01)G06T7/136(2017.01)G06T15/00(2011.01)权利要求书2页说明书7页附图4页(54)发明名称图像渲染方法及系统、VR设备、装置及可读存储介质(57)摘要本申请公开了图像渲染方法及系统、VR设备、装置及可读存储介质，对待显示图像进行背景预渲染生成背景全景图；确定用户观看的背景图像；计算用户的注视点；根据注视点确定前景中央凹区域，对前景中央凹区域按照第一渲染分辨率进行渲染生成前景中央凹图像，根据注视点确定前景非中央凹区域，对前景非中央凹区域按照第二渲染分辨率进行渲染生成前景非中央凹图像；图像融合生成最终渲染图像。根据本申请实施例提供的技术方案，通过将需要显示的图像分为不同范围，对背景图像进行预渲染方式进行渲染保存，将前景图像分为不同的区域，采用不同的渲染分辨率进行渲染，满足用户观看需求的同时降低渲染资源需求。CN112164016ACN112164016A权利要求书1/2页1.一种图像渲染方法，其特征在于，包括：获取待显示图像，对所述待显示图像进行背景预渲染生成背景全景图；获取用户的头部姿态信息，并根据所述头部姿态信息确定用户观看的位置，确定该位置对应的背景图像；计算用户的注视点；根据所述注视点确定前景中央凹区域，对所述前景中央凹区域按照第一渲染分辨率进行渲染生成前景中央凹图像，根据所述注视点确定前景非中央凹区域，对所述前景非中央凹区域按照第二渲染分辨率进行渲染生成前景非中央凹图像；将所述背景图像、所述前景中央凹图像和所述前景非中央凹图像进行图像融合，生成最终渲染图像。2.根据权利要求1所述的图像渲染方法，其特征在于，所述对所述待显示图像进行背景预渲染生成背景全景图包括：测量所述待显示图像内图像的景深；若测量的景深小于设定景深阈值，则判断所述图像内容为前景内容，若测量的景深大于设定景深阈值，则判断所述图像内容为背景内容；对所述背景内容进行预渲染生成所述背景全景图，对所述背景全景图进行缓存。3.根据权利要求1所述的图像渲染方法，其特征在于，所述获取用户的头部姿态信息包括：基于上帧重力加速度、当前帧重力加速度进行加权平均计算，得到重力加速度计算值；基于重力加速度计算值和重力加速度参考值之间的误差计算姿态误差；基于上帧姿态信息、角速度测量值和卡尔曼滤波算法计算当前帧姿态的预测值；基于所述姿态误差，对所述当前帧姿态的预测值进行误差校正，计算出当前帧的用户头部姿态信息。4.根据权利要求1所述的图像渲染方法，其特征在于，所述计算用户的注视点包括：获取用户眼部图像；对所述眼部图像进行灰度化处理；基于灰度化处理后的后的眼部图像计算瞳孔区域的阈值；基于瞳孔区域的阈值进行二值化处理，计算出瞳孔区域；基于二值化处理后的瞳孔区域进行边缘检测，计算出瞳孔边缘点；基于所述瞳孔边缘点进行椭圆拟合，计算出瞳孔的中心；基于瞳孔的中心计算用户注视点的坐标。5.根据权利要求1所述的图像渲染方法，其特征在于，所述第一渲染分辨率为100％，所述第二渲染分辨率为60％-40％，所述预渲染分辨率不超过50％。6.根据权利要求1所述的图像渲染方法，其特征在于，所述将所述背景图像、所述前景中央凹图像和所述前景非中央凹图像进行图像融合包括：确定所述前景中央凹图像、所述前景非中央凹图像在所述背景图像内的匹配区域；清空所述背景图像内所述匹配区域的像素；将所述前景中央凹图像、所述前景非中央凹图像贴合到所述背景图像的所述匹配区域。2CN112164016A权利要求书2/2页7.一种图像渲染系统，其特征在于，包括：背景内容预渲染模块，用于获取待显示图像，对所述待显示图像进行背景预渲染生成背景全景图；视场图像计算模块，用于获取用户的头部姿态信息，并根据所述头部姿态信息计算用户当前观看的视场角范围，并根据所述视场角范围确定用户观看的位置，确定该位置对应的背景图像；注视点计算模块，用于计算用户的注视点；前景图像生成模块，用于根据所述注视点确定前景中央凹区域，对所述前景中央凹区域按照第一渲染分辨率进行渲染生成前景中央凹图像，根据所述注视点确定前景非中央凹