虚拟形象渲染方法及装置、电子设备和存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110889382A(43)申请公布日2020.03.17(21)申请号201911203909.6(22)申请日2019.11.29(71)申请人深圳市商汤科技有限公司地址518054广东省深圳市前海深港合作区前湾一路1号A栋201室(72)发明人韩蕊李佳桦刘文韬(74)专利代理机构北京林达刘知识产权代理事务所(普通合伙)11277代理人刘新宇(51)Int.Cl.G06K9/00(2006.01)权利要求书2页说明书14页附图5页(54)发明名称虚拟形象渲染方法及装置、电子设备和存储介质(57)摘要本公开涉及一种虚拟形象渲染方法及装置、电子设备和存储介质，所述方法包括：对采集到的视频流中的视频帧进行检测，确定所述视频帧中目标对象的对象区域，所述对象区域包括身体区域、面部区域及手部区域；对所述目标对象的对象区域进行处理，确定所述目标对象的第一行为姿态，所述第一行为姿态包括所述目标对象的身体姿态、面部表情及手部手势；根据所述目标对象的第一行为姿态，渲染预设的虚拟形象。本公开实施例可实现实时驱动虚拟形象的全身动作变化。CN110889382ACN110889382A权利要求书1/2页1.一种虚拟形象渲染方法，其特征在于，包括：对采集到的视频流中的视频帧进行检测，确定所述视频帧中目标对象的对象区域，所述对象区域包括身体区域、面部区域及手部区域；对所述目标对象的对象区域进行处理，确定所述目标对象的第一行为姿态，所述第一行为姿态包括所述目标对象的身体姿态、面部表情及手部手势；根据所述目标对象的第一行为姿态，渲染预设的虚拟形象。2.根据权利要求1所述的方法，其特征在于，所述对所述目标对象的对象区域进行处理，确定所述目标对象的第一行为姿态，包括：对所述视频帧中的身体区域进行人体检测，得到所述目标对象的身体部位在第一行为姿态下对应的一组第一关键点信息；根据所述一组第一关键点信息，确定所述身体部位对应的旋转四元数信息。3.根据权利要求1所述的方法，其特征在于，所述对所述目标对象的对象区域进行处理，确定所述目标对象的第一行为姿态，包括：对所述视频帧中的面部区域进行人脸检测，得到所述目标对象面部在第一行为姿态下对应的一组第二关键点信息；根据所述一组第二关键点信息，确定各表情基对应的表情基系数。4.根据权利要求1所述的方法，其特征在于，所述对所述目标对象的对象区域进行处理，确定所述目标对象的第一行为姿态，包括：对所述视频帧中的手部区域进行手势检测，得到所述目标对象手部在第一行为姿态下对应的一组第三关键点信息和/或手势信息；根据所述手部对应的一组第三关键点信息和/或手势信息，确定所述手部各部位对应的旋转四元数信息。5.根据权利要求1至4中任一项所述的方法，其特征在于，所述根据所述目标对象的第一行为姿态，渲染预设的虚拟形象，包括：确定所述第一行为姿态下，所述虚拟形象身体各部位设置的碰撞体的位置信息和旋转四元数信息；在各部位的碰撞体的位置信息不产生重叠的情况下，根据所述第一行为姿态对应的旋转四元数信息，控制所述虚拟形象中的身体部位进行旋转。6.根据权利要求5所述的方法，其特征在于，所述根据所述目标对象的第一行为姿态，渲染预设的虚拟形象，还包括：在各部位的碰撞体的位置信息产生重叠的情况下，对产生重叠的部位的位置信息和/或旋转四元数信息进行调整，得到调整后的旋转四元数信息；根据所述调整后的旋转四元数信息控制所述虚拟形象中的身体部位进行旋转，以使得各部位的碰撞体的位置信息不重叠。7.根据权利要求1至6中任一项所述的方法，其特征在于，所述对采集到的视频流中的视频帧进行检测，确定视频帧中目标对象的对象区域，包括以下方法中至少一种：对采集到的视频流的视频帧进行人体检测，确定视频帧中目标对象的面部对应的第一关键点及手部对应的第二关键点；根据面部对应的面部区域大小及所述第一关键点确定面部区域；2CN110889382A权利要求书2/2页根据手部对应的手部区域大小及所述第二关键点确定手部区域。8.一种虚拟形象渲染装置，其特征在于，包括：检测模块，用于对采集到的视频流中的视频帧进行检测，确定所述视频帧中目标对象的对象区域，所述对象区域包括身体区域、面部区域及手部区域；处理模块，用于对所述目标对象的对象区域进行处理，确定所述目标对象的第一行为姿态，所述第一行为姿态包括所述目标对象的身体姿态、面部表情及手部手势；渲染模块，用于根据所述目标对象的第一行为姿态，渲染预设的虚拟形象。9.一种电子设备，其特征在于，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器存储的指令，以执行权利要求1至7中任意一项所述的方法。10.一种计算机可读存储介质，其上存储有计算机程序指令，其