数据处理方法、装置、电子设备和存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113900516A(43)申请公布日2022.01.07(21)申请号202111137432.3(22)申请日2021.09.27(71)申请人阿里巴巴达摩院（杭州）科技有限公司地址311121浙江省杭州市余杭区五常街道文一西路969号3幢5层516室(72)发明人曹健卓力安张邦潘攀(74)专利代理机构北京润泽恒知识产权代理有限公司11319代理人钱秀茹(51)Int.Cl.G06F3/01(2006.01)G06T7/73(2017.01)G06V10/774(2022.01)A63F13/55(2014.01)权利要求书2页说明书19页附图5页(54)发明名称数据处理方法、装置、电子设备和存储介质(57)摘要本申请实施例提供了一种数据处理方法、装置、电子设备和存储介质，所述方法包括：获取目标对象的活动部件上的惯性传感器的测量数据，并依据测量数据，确定目标对象的活动部件的第一朝向信息；获取目标对象的单目图像数据，并依据单目图像数据确定目标对象的活动部件的第二朝向信息；依据训练好的融合模型，融合各活动部件的第一朝向信息和第二朝向信息，确定目标对象的姿态信息。本申请实施例中，可以将传感器测量的方式和单目图像数据分析的方式进行融合，从而能够提升姿态信息的准确度。CN113900516ACN113900516A权利要求书1/2页1.一种数据处理方法，其特征在于，所述的方法包括：获取目标对象的活动部件上的惯性传感器的测量数据，并依据测量数据，确定目标对象的活动部件的第一朝向信息；获取目标对象的单目图像数据，并依据单目图像数据确定目标对象的活动部件的第二朝向信息；依据训练好的融合模型，融合各活动部件的第一朝向信息和第二朝向信息，确定目标对象的姿态信息。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：依据目标对象的姿态信息，对虚拟对象的各活动部件进行调整，并结合图像数据的背景数据，形成虚拟图像数据；下发虚拟图像数据，以在展示页面中进行展示。3.根据权利要求1所述的方法，其特征在于，所述依据单目图像数据确定目标对象的活动部件的第二朝向信息，包括：依据单目图像数据，确定活动部件的目标节点的位置信息；确定单目图像数据中位置信息对应的深度信息，以形成活动部件的目标节点的坐标信息；依据活动部件各节点的坐标信息，确定活动部件的第二朝向信息。4.根据权利要求3所述的方法，其特征在于，所述依据单目图像数据，确定活动部件的目标节点的位置信息，包括以下步骤中的至少一种：获取单目图像数据之前和/或之后的相关单目图像，并依据活动部件的目标节点在相关单目图像内的相关位置信息，确定目标节点在单目图像数据中的位置信息；确定目标标识在单目图像数据中的位置，以确定活动部件的目标节点的位置信息；依据活动部件的第一节点在单目图像数据中的位置信息，确定与第一节点关联的第二节点的位置信息。5.根据权利要求3所述的方法，其特征在于，所述依据活动部件各节点的坐标信息，确定活动部件的第二朝向信息，包括：依据活动部件的部件参数，对坐标信息进行校验，形成校验结果；依据校验结果为正常的坐标信息，确定活动部件的第二朝向信息。6.根据权利要求5所述的方法，其特征在于，所述依据活动部件各节点的坐标信息，确定活动部件的第二朝向信息，还包括：提供坐标调整页面，以展示校验结果为异常的坐标信息；响应于对坐标调整页面的坐标调整控件的触发，获取坐标调整信息，并依据坐标调整信息，确定调整后的坐标信息；依据调整后的坐标信息，确定活动部件的第二朝向信息。7.根据权利要求1所述的方法，其特征在于，所述方法还包括：提供姿态展示页面，以展示姿态信息；依据对姿态展示页面中姿态调整控件的触发，获取对姿态信息的姿态调整信息；依据调整信息对目标对象的姿态信息进行调整，并对融合模型进行调整。8.根据权利要求1所述的方法，其特征在于，所述方法还包括：2CN113900516A权利要求书2/2页确定活动部件的第一朝向信息和第二朝向信息之间的差异量；提供朝向调整页面，以展示差异量大于预设差异阈值的朝向信息，所述朝向信息包括第一朝向信息和第二朝向信息中的至少一个；响应于对朝向调整页面中朝向调整控件的触发，获取朝向调整信息，并依据朝向调整信息对活动部件的节点进行调整。9.一种数据处理方法，其特征在于，所述方法包括：从直播数据中获取目标对象的活动部件上的惯性传感器的测量数据，并依据测量数据，确定目标对象的活动部件的第一朝向信息；从直播数据中获取目标对象的单目图像数据，并依据单目图像数据确定目标对象的活动部件的第二朝向信息；依据训练好的融合模型，融合各活动部件的第一朝向信息和第二朝向信息，确定目标对象的姿态信息；依据目标对象的姿态信息，对虚拟对象的各活动