基于XR技术的沉浸式互动直播构建方法、系统及介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115423916A(43)申请公布日2022.12.02(21)申请号202210906282.6G06Q50/20(2012.01)(22)申请日2022.07.29H04N21/2187(2011.01)G09B5/06(2006.01)(71)申请人深圳职业技术学院地址518000广东省深圳市南山区西丽湖镇西丽湖畔(72)发明人蔡铁峰(74)专利代理机构深圳市科吉华烽知识产权事务所(普通合伙)44248专利代理师胡吉科(51)Int.Cl.G06T15/00(2011.01)G06T7/70(2017.01)G06T7/55(2017.01)G06F3/01(2006.01)G06F9/50(2006.01)权利要求书3页说明书16页附图5页(54)发明名称基于XR技术的沉浸式互动直播构建方法、系统及介质(57)摘要本发明公开了一种基于XR技术的沉浸式互动直播构建方法、系统及介质，该方法包括：设定直播虚拟场景的直播三维成像区间以及直播虚拟场景坐标系与基准观众视场坐标系的旋转缩放平移关系；计算基准观众在直播虚拟场景中的瞳距与观看位姿；渲染生成直播虚拟场景的直播三维成像区间的立体视觉直播画面，并把立体视觉直播画面发送给各观众；任意观众接收立体视觉直播画面，和/或立体视觉直播画面与观众体验空间其它体验内容的立体视觉画面合成为边看虚拟场景直播边进行其它内容体验的立体视觉画面，画面显示给观众看；观众与直播虚拟场景进行互动。本发明能适配不同用户的瞳距，使直播场景正确融入到用户的体验空间，能适配所有不同瞳距的用户。CN115423916ACN115423916A权利要求书1/3页1.一种基于XR技术的沉浸式互动直播构建方法，其特征在于，所述方法包括以下步骤：步骤S10：设定直播虚拟场景的直播三维成像区间以及直播虚拟场景坐标系与基准观众视场坐标系的旋转缩放平移关系；步骤S20:根据直播虚拟场景坐标系与基准观众视场坐标系的旋转缩放平移关系，计算基准观众在直播虚拟场景中的瞳距与观看位姿；步骤S30：基于所述基准观众在直播虚拟场景中的瞳距与观看位姿，渲染生成直播虚拟场景的直播三维成像区间的立体视觉直播画面，并把立体视觉直播画面发送给各观众；步骤S40:任意观众接收立体视觉直播画面，和/或立体视觉直播画面与观众体验空间其它体验内容的立体视觉画面合成为边看虚拟场景直播边进行其它内容体验的立体视觉画面，显示给观众看。2.根据权利要求1所述的方法，其特征在于，所述步骤S30生成的立体视觉直播画面带有深度信息，在所述步骤S40中，对于任意观众hk，hk接收的立体视觉直播画面与其体验空间其它体验内容的立体视觉画面合成为hk边看虚拟场景直播边进行其它内容体验的立体视觉画面，在立体视觉直播画面与hk对其它内容体验生成的立体视觉画面合成时，需要根据各画面在hk视场的深度信息进行遮挡计算。3.根据权利要求2所述的方法，其特征在于，在所述步骤S10设定的直播虚拟场景坐标系与基准观众视场坐标系的旋转缩放平移关系中，直播虚拟场景sm的坐标系到基准观众视场坐标系的缩放系数为λm，所述步骤S20计算出基准观众在直播虚拟场景sm中的瞳距为其中为基准观众的实际瞳距，根据直播虚拟场景sm坐标系与基准观众视场坐标系的旋转缩放平移关系，计算基准观众在直播虚拟场景中的位姿，所述步骤S30根据基准观众在直播虚拟场景sm的位姿与瞳距，生成立体视觉直播画面，其中为立体视觉画面的左眼图像，为立体视觉画面的右眼图像，为对应的深度图像，根据缩放系数λm，计算得到与在基准观众视场下的深度信息为深度图像和所述步骤S40立体视觉直播画面与观众体验空间其它体验内容的立体视觉画面合成具体实现为：任意观看场景sm直播的观众hk，接收到场景sm的立体视觉直播画面，hk沉浸式体验空间内其它体验内容生成立体视觉体验画面左眼图像为右眼图像为与在hk视场的深度信息为深度图与hk与基准观众瞳距比值为场景sm的立体视觉直播画面与在基准观众视场下的深度图像与转换成hk视场的深度图像立体视觉直播画面与其它体验内容生成的立体视觉体验画面根据深度图像进行遮挡计算，生成合成画面。4.根据权利要求3所述的方法，其特征在于，所述步骤S10，设定直播虚拟场景的直播三维成像区间以及直播虚拟场景坐标系与基准观众视场坐标系的旋转缩放平移关系具体包括：给直播虚拟场景sm选定三维包围盒Ω′m，设定包围盒Ω′m在场景sm中的位姿，包围盒Ω′m2CN115423916A权利要求书2/3页在场景sm框选出一个三维区间Ωm，Ωm就是场景sm的直播三维成像区间，设定包围盒Ω′m在基准观众视场的位姿与缩放关系，计算出所述虚拟场景sm的直播三维成像区间Ωm在基准观众视场中对应的三维显示区间设定了