书写姿态跟踪方法、装置、电子设备及存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115100676A(43)申请公布日2022.09.23(21)申请号202210592919.9G06N3/04(2006.01)(22)申请日2022.05.27G06N3/08(2006.01)(71)申请人中国科学院半导体研究所地址100083北京市海淀区清华东路甲35号(72)发明人于丽娜吴敏张玉贵李卫军(74)专利代理机构北京路浩知识产权代理有限公司11002专利代理师任少瑞(51)Int.Cl.G06V40/10(2022.01)G06V10/26(2022.01)G06V10/56(2022.01)G06V10/774(2022.01)G06V10/82(2022.01)权利要求书2页说明书10页附图2页(54)发明名称书写姿态跟踪方法、装置、电子设备及存储介质(57)摘要本发明提供一种书写姿态跟踪方法、装置、电子设备及存储介质，其中书写姿态方法，包括：获取视野范围内的第一图像，并对所述第一图像进行人体关键点识别；基于所述人体关键点的识别成功结果和预设中心位置识别模型，得到所述人体关键点对应目标对象的目标中心点位置；对视野中心点位置进行调整，使得调整后的所述视野中心点位置与所述目标中心点位置重合，以跟踪所述目标对象的书写姿态。本发明既无需依赖于人为操作书写姿态跟踪设备即可实现追踪目标对象的目的，提高了跟踪书写姿态的实用性和灵活性，也无需人为移动书写姿态跟踪设备即可实现准确追踪书写姿态的目的，进一步提高了书写姿态跟踪设备追踪人体书写姿态的智能性和可靠性。CN115100676ACN115100676A权利要求书1/2页1.一种书写姿态跟踪方法，其特征在于，包括：获取视野范围内的第一图像，并对所述第一图像进行人体关键点识别；基于所述人体关键点的识别成功结果和预设中心位置识别模型，得到所述人体关键点对应目标对象的目标中心点位置；对视野中心点位置进行调整，使得调整后的所述视野中心点位置与所述目标中心点位置重合，以跟踪所述目标对象的书写姿态。2.根据权利要求1所述的书写姿态跟踪方法，其特征在于，在所述对所述第一图像进行人体关键点识别之后，所述方法还包括：基于所述人体关键点的识别失败结果，对所述视野范围进行调整；基于所述视野范围调整所得的新的视野范围，获取第二图像；对所述第二图像进行人体关键点识别。3.根据权利要求1所述的书写姿态跟踪方法，其特征在于，在所述对所述第一图像进行人体关键点识别之后，所述方法还包括：基于所述人体关键点的识别失败结果，按照预设路径方向进行位置移动；基于所述位置移动所得的新的视野范围，获取第三图像；对所述第三图像进行人体关键点识别。4.根据权利要求3所述的书写姿态跟踪方法，其特征在于，在所述按照预设路径方向进行位置移动之后，所述方法还包括：在所述位置移动的过程中，检测预设距离内是否存在障碍对象；确定预设距离范围内存在所述障碍对象时，改变所述预设路径方向并继续进行所述位置移动；确定所述预设距离范围内没有所述障碍对象时，继续进行所述位置移动。5.根据权利要求4所述的书写姿态跟踪方法，其特征在于，在所述继续进行所述位置移动之后，所述方法还包括：确定所述位置移动产生的新的视野范围达到预设位置移动停止条件时，停止所述位置移动。6.根据权利要求1所述的书写姿态跟踪方法，其特征在于，所述基于所述人体关键点的识别成功结果和预设中心位置识别模型，得到所述人体关键点对应目标对象的目标中心点位置，包括：基于所述人体关键点的识别成功结果，确定识别到的人体关键点位置；基于所述人体关键点位置，构建所述人体关键点位置对应目标对象的目标轮廓数据；基于所述目标轮廓数据，确定所述目标对象的目标中心点位置。7.根据权利要求1所述的书写姿态跟踪方法，其特征在于，所述方法还包括：确定所述目标对象的书写姿态发生变化时，获取发生位移后的新的目标中心点位置；基于所述新的目标中心点位置，调整云台位置，使得所述云台位置调整所得的新的视野中心点位置与所述新的目标中心点位置重合。8.根据权利要求1至7任一所述的书写姿态跟踪方法，其特征在于，所述预设中心位置识别模型的训练过程，包括：获取携带有区域标签的样本图像，所述区域标签包括人体区域标签、桌面区域标签、背2CN115100676A权利要求书2/2页景区域标签和书本区域标签，所述人体区域标签包括人体关键点标签；使用所述样本图像进行人体区域分割、轮廓数据构建及中心位置确定的训练，得到预设中心位置识别模型。9.一种书写姿态跟踪装置，其特征在于，包括：关键点识别模块，用于获取视野范围内的第一图像，并对所述第一图像进行人体关键点识别；位置确定模块，用于基于所述人体关键点的识别成功结果和预设中心位置识别模型，得到所述人体关键点对应目标对象的目标中心点