交互控制方法、装置、头戴显示设备及介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN116149772A(43)申请公布日2023.05.23(21)申请号202310120674.4(22)申请日2023.02.13(71)申请人歌尔股份有限公司地址261031山东省潍坊市高新技术产业开发区东方路268号(72)发明人李昱锋杨明明王文(74)专利代理机构北京博雅睿泉专利代理事务所(特殊普通合伙)11442专利代理师马铁良(51)Int.Cl.G06F9/451(2018.01)G06F3/0486(2013.01)G06F3/0488(2022.01)G06F3/01(2006.01)G06F17/16(2006.01)权利要求书2页说明书13页附图3页(54)发明名称交互控制方法、装置、头戴显示设备及介质(57)摘要本公开实施例公开了一种交互控制方法、装置、头戴显示设备及介质，该方法包括：在第一设备的桌面环境创建多个虚拟屏及与多个虚拟屏分别对应的曲面画布，在任意虚拟屏运行对应的应用，及将任意虚拟屏的纹理信息渲染显示到对应的曲面画布；在接收到第二设备发送的触控事件的第一标识信息的情况下，获取虚拟标识与目标画布的交点的位置信息、及目标虚拟屏的第二标识信息；对虚拟标识与目标画布的交点的位置信息进行设定变换，得到交点在目标虚拟屏内的位置信息；根据交点在目标虚拟屏内的位置信息、触控事件的第一标识信息和目标虚拟屏的第二标识信息，将触控事件分发至目标虚拟屏进行响应。CN116149772ACN116149772A权利要求书1/2页1.一种交互控制方法，其特征在于，所述方法包括：在第一设备的桌面环境创建多个虚拟屏及与所述多个虚拟屏分别对应的曲面画布，在任意虚拟屏运行对应的应用，及将所述任意虚拟屏的纹理信息渲染显示到对应的所述曲面画布；在接收到第二设备发送的触控事件的第一标识信息的情况下，获取虚拟标识与目标画布的交点的位置信息、及目标虚拟屏的第二标识信息；其中，所述多个虚拟屏包括所述目标虚拟屏，所述目标虚拟屏运行目标应用，所述目标画布渲染显示有所述目标虚拟屏的纹理信息；对所述虚拟标识与目标画布的交点的位置信息进行设定变换，得到所述交点在所述目标虚拟屏内的位置信息；其中，所述设定变换依次包括平移变换、旋转变换、曲面变换、缩放变换和坐标系转换；根据所述交点在所述目标虚拟屏内的位置信息、所述触控事件的第一标识信息和所述目标虚拟屏的第二标识信息，将所述触控事件分发至所述目标虚拟屏进行响应。2.根据权利要求1所述的方法，其特征在于，所述对所述虚拟标识与目标画布的交点的位置信息进行设定变换，得到所述交点在所述目标虚拟屏内的位置信息，包括：对所述虚拟标识与目标画布的交点的位置信息进行所述设定变换，得到所述交点在所述目标虚拟屏内的相对位置；根据所述交点在所述目标虚拟屏内的相对位置和所述目标虚拟屏的显示分辨率，得到所述交点在所述目标虚拟屏内的位置信息。3.根据权利要求2所述的方法，其特征在于，所述对所述虚拟标识与目标画布的交点的位置信息进行所述设定变换，得到所述交点在所述目标虚拟屏内的相对位置，包括：根据所述目标画布的位置信息，对所述虚拟标识与目标画布的交点的位置信息进行平移变换，得到进行平移变换后的位置信息；根据所述目标画布的旋转矩阵的逆矩阵，对进行平移变换后的位置信息进行旋转变换，得到进行旋转变换后的位置信息；根据第一向量与第二向量之间的夹角，对进行旋转变换后的位置信息进行曲面变换，得到进行曲面变换后的位置信息；其中，所述第一向量为进行旋转变换后的位置信息指向所述目标画布的曲面的圆心的向量，所述第二向量为进行旋转变换后的位置信息指向垂直正方向的向量；根据所述目标画布的画布缩放信息、所述目标画布的高度信息和所述目标画布的曲面的弧角，对进行曲面变换后的位置信息进行缩放变换，得到进行缩放变换后的位置信息；将进行缩放变换后的位置信息转换到平面坐标系，得到所述交点在所述目标虚拟屏内的相对位置。4.根据权利要求1至3中任一项所述的方法，其特征在于，所述方法还包括：接收所述第二设备发送的旋转矩阵；其中，所述旋转矩阵用于表征所述第二设备的姿态变化信息；对所述旋转矩阵进行转换，得到所述虚拟标识的方向；根据所述虚拟标识的方向，确定所述虚拟标识与所述目标画布的交点。5.根据权利要求1至3中任一项所述的方法，其特征在于，所述触控事件包括按下事件、2CN116149772A权利要求书2/2页抬起事件和滑动事件中其中一种。6.一种交互控制装置，其特征在于，所述装置包括：运行模块，用于在第一设备的桌面环境创建多个虚拟屏及与所述多个虚拟屏分别对应的曲面画布，在任意虚拟屏运行对应的应用，及将所述任意虚拟屏的纹理信息渲染显示到对应的所述曲面画布；获取模块，用于在接收到第二设备发送的触控事件的第一标识信息的情况