一种基于XR技术的姿态同步互动展馆展示系统.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115202485A(43)申请公布日2022.10.18(21)申请号202211118126.X(22)申请日2022.09.15(71)申请人深圳飞蝶虚拟现实科技有限公司地址518000广东省深圳市南山区粤海街道高新社区高新南九道51号航空航天大厦1号楼3层3311(72)发明人王亚刚李元元程思锦(51)Int.Cl.G06F3/01(2006.01)G06T13/40(2011.01)G09F19/18(2006.01)权利要求书3页说明书11页附图4页(54)发明名称一种基于XR技术的姿态同步互动展馆展示系统(57)摘要本发明提供了一种基于XR技术的姿态同步互动展馆展示系统，包括：动作追踪端，用于对用户进行动态追踪，获得动态追踪数据；互动渲染端，用于基于动态追踪数据和预设虚拟空间视频，渲染出同步互动响应虚拟动画；融合渲染端，用于基于动态追踪数据和用户的标准视野视频，将同步互动响应虚拟动画和动态视频中用户的前景视频以及预设虚拟空间视频中的背景视频进行对齐融合渲染，生成互动同步展示动画；实时投影端，用于将互动同步展示动画实时投影至LED沉浸式展示幕中，获得实时互动展示结果；用以将基于动态追踪数据渲染出同步互动影响虚拟动画和用户的前景视频以及预设虚拟空间视频中的进行对齐融合渲染并投影，获得高度契合、高精准性的互动动画。CN115202485ACN115202485A权利要求书1/3页1.一种基于XR技术的姿态同步互动展馆展示系统，其特征在于，包括：动作追踪端，用于基于动态视频对用户进行动态追踪，获得动态追踪数据；互动渲染端，用于基于动态追踪数据和预设虚拟空间视频，渲染出同步互动响应虚拟动画；融合渲染端，用于基于动态追踪数据和用户的标准视野视频，将同步互动响应虚拟动画和动态视频中用户的前景视频以及预设虚拟空间视频中的背景视频进行对齐融合渲染，生成互动同步展示动画；实时投影端，用于将互动同步展示动画实时投影至LED沉浸式展示幕中，获得实时互动展示结果。2.根据权利要求1所述的一种基于XR技术的姿态同步互动展馆展示系统，其特征在于，动作追踪端，包括：视频获取模块，用于基于设置在互动展馆的实体空间内的摄像头获取实体场景内的动态视频；动态追踪模块，用于基于动态视频对进入实体场景内的用户进行动态追踪，获得对应用户的动态追踪数据。3.根据权利要求1所述的一种基于XR技术的姿态同步互动展馆展示系统，其特征在于，互动渲染端，包括：意图确定模块，用于基于动态追踪数据中的相对位姿轨迹和用户的标准视野视频分析出用户的动作意图；互动渲染模块，用于基于用户的动作意图渲染生成同步互动响应虚拟动画，将动态视频中用户的前景视频和同步互动响应虚拟动画以及背景视频进行对齐融合渲染，生成互动同步展示动画。4.根据权利要求3所述的一种基于XR技术的姿态同步互动展馆展示系统，其特征在于，意图确定模块，包括：坐标变换单元，用于基于动态追踪数据中的相对位姿轨迹确定出用户在实体场景中的第一实时眼眶坐标集合，基于实体场景和预设虚拟空间视频之间的坐标变换关系以及第一实时眼眶坐标集合，确定出用户在预设虚拟空间视频中的第二实时眼眶坐标集合；视野确定单元，用于基于第二实时眼眶坐标集合和标准视场范围，在预设虚拟空间视频中实时确定出第一视野范围对应的第一视野图像，基于实时确定的第一视野图像获得第一视野视频；偏差确定单元，用于将用户双眼的实时注视点坐标和第二实时眼眶坐标集合进行时序对齐，获得第一时序对齐数据，基于第一时序对齐数据确定出注视偏差角度变化数据；范围校正单元，用于将注视偏差角度变化数据和第一视野视频进行时序对齐，获得第二时序对齐数据，基于实时注视偏差角度对第二时序对齐数据中第一视野视频中对应时刻的视频帧进行范围校正，获得用户的标准视野视频；意图确定单元，用于基于动态追踪数据确定出用户的动作轨迹，基于动作轨迹和标准视野视频确定出用户的当前互动目标，将当前互动目标和动作轨迹作为用户的动作意图。5.根据权利要求3所述的一种基于XR技术的姿态同步互动展馆展示系统，其特征在于，互动渲染模块，包括：2CN115202485A权利要求书2/3页响应确定单元，用于基于动作意图和互动响应结果列表，确定出预设虚拟空间视频中的当前互动目标和对应的互动响应结果；互动渲染单元，用于基于当前互动目标和对应的互动响应结果以及预设虚拟空间视频，渲染生成同步互动响应虚拟动画；对齐渲染单元，用于将动态视频中用户的前景视频和同步互动响应虚拟动画以及背景视频进行对齐融合渲染，生成互动同步展示动画。6.根据权利要求5所述的一种基于XR技术的姿态同步互动展馆展示系统，其特征在于，响应确定单元，包括：类别确定子单元，用于基于动作意图中的动作轨迹确定出动作类别；