基于时序控制的头戴设备虚实融合渲染系统及方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN116071476A(43)申请公布日2023.05.05(21)申请号202310089615.5(22)申请日2023.01.16(71)申请人杭州易现先进科技有限公司地址311200浙江省杭州市萧山区钱江世纪公园C区6幢102室(72)发明人徐宁浩张高明丛林(74)专利代理机构杭州创智卓英知识产权代理事务所(普通合伙)33324专利代理师彭菊凤(51)Int.Cl.G06T15/00(2011.01)G06T19/00(2011.01)G06T7/73(2017.01)G06T5/00(2006.01)G06T5/50(2006.01)权利要求书2页说明书10页附图3页(54)发明名称基于时序控制的头戴设备虚实融合渲染系统及方法(57)摘要本发明提供了一种基于时序控制的头戴设备虚实融合渲染系统及方法，包括：时序控制模块，用于获取软件系统信息、硬件设备信息和垂直信号，并生成第一预测时间和时序控制信息；其中，所述时序控制信息包括第二预测时间和时序控制信号；渲染模块，用于获取第一位姿信息和应用场景，并生成应用帧序列，其中，所述应用帧序列包括最近邻应用帧；以及用于获取所述第二位姿信息和所述最近邻应用帧，并生成矫正帧；显示模块，用于实时观测现实场景，并根据所述时序控制信号显示所述矫正帧，以使所述矫正帧与当前时刻的现实场景融合；其中，所述时序控制信号用于控制所述矫正帧的生成时间、显示时间和显示方式，以实现低延迟的虚实融合效果。CN116071476ACN116071476A权利要求书1/2页1.一种基于时序控制的头戴设备虚实融合渲染系统，其特征在于，包括：时序控制模块，用于获取软件系统信息、硬件设备信息和垂直信号，并生成第一预测时间和时序控制信息；其中，所述时序控制信息包括第二预测时间和时序控制信号；渲染模块，用于获取第一位姿信息和应用场景，并生成应用帧序列，其中，所述应用帧序列包括最近邻应用帧；以及用于获取第二位姿信息和所述最近邻应用帧，并时序控制信号生成矫正帧；显示模块，用于实时观测现实场景，并根据所述时序控制信号显示所述矫正帧，以使所述矫正帧与当前时刻的现实场景融合；其中，所述时序控制信号用于控制所述矫正帧的生成时间、显示时间和显示方式。2.如权利要求1所述的基于时序控制的头戴设备虚实融合渲染系统，其特征在于，所述渲染模块包括：应用帧渲染模块，用于获取应用场景和根据所述第一预测时间获取所述第一位姿信息，生成应用帧；帧共享缓存池，用于存储所述应用帧，形成所述应用帧序列；其中，所述应用帧和矫正帧具有时间戳。3.如权利要求2所述的基于时序控制的头戴设备虚实融合渲染系统，其特征在于，所述渲染模块还包括：矫正帧渲染模块，用于根据所述第二预测时间获取所述第二位姿信息和所述帧共享缓存池所存储的最近邻应用帧，并根据时序控制信号生成所述矫正帧。4.如权利要求1所述的基于时序控制的头戴设备虚实融合渲染系统，其特征在于，所述显示模块包括：屏幕帧缓存区，用于根据所述时序控制信息和所述垂直信号对所述矫正帧执行缓存上屏或直接上屏；设备显示屏幕，用于根据所述时序控制信号进行显示所述矫正帧。5.如权利要求4所述的基于时序控制的头戴设备虚实融合渲染系统，其特征在于，所述显示模块还包括：垂直信号区，用于实时获取所述设备显示屏幕的显示动态，并生成垂直信号发送给所述屏幕帧缓存区和时序控制模块，以使所述设备显示屏幕对所述矫正帧进行显示。6.如权利要求5所述的基于时序控制的头戴设备虚实融合渲染系统，其特征在于，所述垂直信号为上一时刻设备显示屏幕的屏幕刷新信号；所述垂直信号包括预设显示格式和上一时刻的矫正帧显示的时间戳；所述预设显示格式包括设备显示屏幕的显示刷新频率以及显示刷新方式。7.如权利要求1所述的基于时序控制的头戴设备虚实融合渲染系统，其特征在于，还包括：设备位姿预测模块，用于获取预测时间段内的位姿信息；应用软件逻辑模块，用于存储应用场景和预设逻辑；其中，所述预设逻辑配置为根据第一预测时间和第一位姿信息对所述应用场景执行预设渲染轨迹，以使生成所述应用帧序列。8.如权利要求7所述的基于时序控制的头戴设备虚实融合渲染系统，其特征在于，2CN116071476A权利要求书2/2页所述预测时间段包括第一预测时间和第二预测时间；所述第一位姿信息包括第一预测时间内的位姿信息序列；所述第二预测时间为预测当前时刻的时间；所述第二位姿信息为预测当前时刻的位姿信息。9.一种基于时序控制的头戴设备虚实融合渲染方法，其特征在于，包括以下步骤：获取软件系统信息和、硬件设备信息和垂直信号，并生成第一预测时间和时序控制信息，其中，所述时序控制信息包括第二预测时间和时序控制信号；根据所述第一预测时间获取第一位姿信息，并基于所述第一位