一种手柄的追踪方法、装置、系统及介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113721767A(43)申请公布日2021.11.30(21)申请号202111004520.6(22)申请日2021.08.30(71)申请人歌尔光学科技有限公司地址261031山东省潍坊市潍坊高新区清池街道永春社区惠贤路3999号歌尔光电产业园三期1号厂房(72)发明人刘静单体江(74)专利代理机构北京集佳知识产权代理有限公司11227代理人王学强(51)Int.Cl.G06F3/01(2006.01)G01C21/16(2006.01)权利要求书2页说明书7页附图1页(54)发明名称一种手柄的追踪方法、装置、系统及介质(57)摘要本发明公开了一种手柄的追踪方法、装置、系统及计算机可读存储介质，该方法应用于HMD，包括：在HMD的时间戳与手柄的时间戳同步之前，获取图像采集装置对手柄进行捕捉拍照得到的捕捉图像；判断捕捉图像是否为手柄图像，若是，则依据手柄图像从接收到的各个IMU数据包中确定出与手柄图像的拍摄时间位于同一时间段的目标IMU数据包；根据目标IMU数据包及坐标初始位置计算出手柄在对应时刻的空间位置及姿态，其中，将第一次检测到的手柄图像中手柄对应的空间位置作为坐标初始位置；本发明在使用过程中能够实现对光学手柄的无缝追踪，有助于提升用户使用体验。CN113721767ACN113721767A权利要求书1/2页1.一种手柄的追踪方法，应用于HMD，其特征在于，包括：在所述HMD的时间戳与手柄的时间戳同步之前，获取所述HMD上的图像采集装置对所述手柄进行捕捉拍照得到的捕捉图像；判断所述捕捉图像是否为手柄图像；若是，则依据所述手柄图像从接收到的各个IMU数据包中确定出与所述手柄图像的拍摄时间位于同一时间段的目标IMU数据包；根据所述目标IMU数据包以及坐标初始位置计算出所述手柄在对应时刻的空间位置及姿态，其中，将第一次检测到的手柄图像中手柄对应的空间位置作为所述坐标初始位置。2.根据权利要求1所述的手柄的追踪方法，其特征在于，所述依据所述手柄图像从接收到的各个IMU数据包中确定出与所述手柄图像的拍摄时间位于同一时间段的目标IMU数据包的过程为：获取所述手柄图像的当前拍摄时间戳；对所述手柄图像进行左右手柄识别得到目标标识，所述目标标识为左手柄标识或右手柄标识；依据所述目标标识从接收到的各个IMU数据包中筛选出与所述目标标识对应的各个第一IMU数据包；从各个所述第一IMU数据包中确定出数据产生时间戳与所述当前拍摄时间戳最近接的IMU数据包作为目标IMU数据包。3.根据权利要求2所述的手柄的追踪方法，其特征在于，还包括：从各个所述第一IMU数据包中确定出数据产生时间戳位于所述当前拍摄时间戳之后、且在下一次捕捉到手柄图像之前的各个第二IMU数据包；依据各个所述第二IMU数据包计算出在所述当前拍摄时间戳之后、且在下一次捕捉到手柄图像之前所述手柄的各个空间位置及姿态。4.根据权利要求1所述的手柄的追踪方法，其特征在于，所述获取图像采集装置对所述手柄进行捕捉拍照得到捕捉图像的过程为：获取图像采集装置按照第一曝光频率对所述手柄进行捕捉拍照所得到的捕捉图像；所述第一曝光频率大于预设值。5.根据权利要求1所述的手柄的追踪方法，其特征在于，还包括：确定所述HMD的时间戳与所述手柄的时间戳同步完成，控制所述图像采集装置对所述手柄的IRLED进行捕捉追踪。6.一种手柄的追踪装置，应用于HMD，其特征在于，包括：控制模块，用于在所述HMD的时间戳与手柄的时间戳同步之前，获取所述HMD上的图像采集装置对所述手柄进行捕捉拍照得到的捕捉图像；识别模块，用于判断所述捕捉图像是否为手柄图像，若是，则触发确定模块；所述确定模块，用于依据所述手柄图像从接收到的各个IMU数据包中确定出与所述手柄图像的拍摄时间位于同一时间段的目标IMU数据包；第一计算模块，用于根据所述目标IMU数据包以及坐标初始位置计算出所述手柄在对应时刻的空间位置及姿态，其中，将第一次检测到的手柄图像中手柄对应的空间位置作为所述坐标初始位置。2CN113721767A权利要求书2/2页7.根据权利要求6所述的手柄的追踪装置，其特征在于，所述确定模块包括：获取单元，用于获取所述手柄图像的当前拍摄时间戳；识别单元，用于对所述手柄图像进行左右手柄识别得到目标标识，所述目标标识为左手柄标识或右手柄标识；筛选单元，用于依据所述目标标识从接收到的各个IMU数据包中筛选出与所述目标标识对应的各个第一IMU数据包；确定单元，用于从各个所述第一IMU数据包中确定出数据产生时间戳与所述当前拍摄时间戳最近接的IMU数据包作为目标IMU数据包。8.根据权利要求7所述的手柄的追踪装置，其特征在于，还包括：筛选模块，用于从各个所述第一IMU数据