人体虚拟模型展示方法、装置、电子设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112799507A(43)申请公布日2021.05.14(21)申请号202110055323.0(22)申请日2021.01.15(71)申请人北京航空航天大学地址100191北京市海淀区学院路37号北京航空航天大学新主楼D315(72)发明人高阳郝爱民蒋孟贤赵沁平吴洪宇(74)专利代理机构北京同立钧成知识产权代理有限公司11205代理人杜叶蕊刘芳(51)Int.Cl.G06F3/01(2006.01)G06K9/00(2006.01)G06T19/00(2011.01)G06T15/00(2011.01)权利要求书2页说明书10页附图3页(54)发明名称人体虚拟模型展示方法、装置、电子设备及存储介质(57)摘要本发明提供一种人体虚拟模型展示方法、装置、电子设备及存储介质，对获取的用户图像进行手势识别处理，得到手势识别结果；确定所述手势识别结果对应的图像处理操作，并对预先构建的人体虚拟模型执行所述图像处理操作，获得展示的目标人体虚拟模型；基于3D图像显示技术，对所述目标人体虚拟模型进行图像生成和图像渲染处理，获得并展示所述目标人体虚拟模型的3D图像。本发明方案能够识别用户手势对人体虚拟模型进行操作，并基于3D图像显示技术进行裸眼3D展示，实现了根据用户手势灵活高效地操作人体虚拟模型，提高了人体虚拟模型的展示效果。CN112799507ACN112799507A权利要求书1/2页1.一种人体虚拟模型展示方法，其特征在于，包括：对获取的用户图像进行手势识别处理，得到手势识别结果；确定所述手势识别结果对应的图像处理操作，并对预先构建的人体虚拟模型执行所述图像处理操作，获得展示的目标人体虚拟模型；基于3D图像显示技术，对所述目标人体虚拟模型进行图像生成和图像渲染处理，获得并展示所述目标人体虚拟模型的3D图像。2.根据权利要求1所述的方法，其特征在于，所述对获取的用户图像进行手势识别处理，得到手势识别结果，包括：确定手部在所述用户图像中的图像区域；对所述图像区域进行手部关键点识别，得到所述图像区域中的手部关键点序列；其中，所述手部关键点序列中包括图像区域中的手部在每一图像帧的关键点类型、位置以及形态；根据所述手部关键点序列确定其所对应的手势，得到手势识别结果。3.根据权利要求2所述的方法，其特征在于，所述根据所述手部关键点序列确定其所对应的手势，得到手势识别结果之前，还包括：在手部关键点序列中，确定是否有任一图像帧的关键点类型、位置以及形态满足触发条件；若是，则执行所述根据所述手部关键点序列确定其所对应的手势，得到手势识别结果的步骤。4.根据权利要求3所述的方法，其特征在于，所述根据所述手部关键点序列确定其所对应的手势，得到手势识别结果，包括：根据所述手部关键点序列中连续图像帧的手部的关键点类型、位置以及形态，确定手部在连续图像帧中的每个手部关键点的变化趋势；根据各手部关键点的变化趋势确定手部关键点序列所对应的手势类型和手势轨迹，得到手势识别结果。5.根据权利要求4所述的方法，其特征在于，所述确定所述手势识别结果对应的图像处理操作，并对预先构建的人体虚拟模型执行所述图像处理操作，获得待展示的目标人体虚拟模型，包括：根据所述手势类型从函数库中调用相应类型的预存图像处理函数；根据所述手势轨迹，对所述预存图像处理函数进行处理，得到待执行的图像处理函数；对所述预先构建的人体虚拟模型执行所述待执行的图像处理函数，得到待展示的目标人体虚拟模型。6.根据权利要求1‑5所述的方法，其特征在于，所述基于3D图像显示技术，对所述目标人体虚拟模型进行图像生成和图像渲染处理，获得并展示所述目标人体虚拟模型的3D图像，包括：构建多个虚拟相机，并计算每个虚拟相机的子像素映射矩阵；利用各子像素映射矩阵，确定每个虚拟相机呈现所述目标人体虚拟模型的相机图像；根据所述目标人体虚拟模型的模型材质，对各相机图像进行光影渲染处理，得到相应的渲染图像；2CN112799507A权利要求书2/2页根据各渲染图像，创建所述目标人体虚拟模型的3D图像并进行展示。7.一种人体虚拟模型展示装置，其特征在于，包括：手势识别单元，用于对获取的用户图像进行手势识别处理，得到手势识别结果；执行单元，用于确定所述手势识别结果对应的图像处理操作，并对预先构建的人体虚拟模型执行所述图像处理操作，获得展示的目标人体虚拟模型；展示单元，用于基于3D图像显示技术，对所述目标人体虚拟模型进行图像生成和图像渲染处理，获得并展示所述目标人体虚拟模型的3D图像。8.一种电子设备，其特征在于，包括：至少一个处理器和存储器；所述存储器存储计算机执行指令；所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要