三维模型的实时控制方法和系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN106251396A(43)申请公布日2016.12.21(21)申请号201610619560.4(22)申请日2016.07.29(71)申请人迈吉客科技（北京）有限公司地址100080北京市海淀区海淀大街3号1幢801室-810L-181(72)发明人伏英娜金宇林(74)专利代理机构北京布瑞知识产权代理有限公司11505代理人孟潭(51)Int.Cl.G06T17/00(2006.01)G06K9/00(2006.01)权利要求书5页说明书12页附图10页(54)发明名称三维模型的实时控制方法和系统(57)摘要本发明实施例提供了一种三维模型的实时控制方法，用于解决在移动互联网环境中，无法通过有限资源形成对现实对象的实时反馈，以控制三维模型的动作形成流畅视频的技术问题。其中，所述方法包括：获取现实对象的实时视频；标识实时视频图像中现实对象的动作；根据标识动作的变化，形成相应3D模型的动作控制指令。还包括三维模型的实时控制系统。CN106251396ACN106251396A权利要求书1/5页1.三维模型的实时控制方法，包括：获取现实对象的实时视频；标识实时视频图像中现实对象的动作；根据标识动作的变化，形成相应3D模型的动作控制指令。2.如权利要求1所述的三维模型的实时控制方法，所述标识实时视频图像中现实对象的动作包括：根据预置对象识别策略在实时视频的图像中识别现实对象；根据预置关键点识别策略识别图像中现实对象的关键点；形成关键点的平面坐标空间和相应3D模型的立体坐标空间；测量连续图像中关键点在平面坐标空间的坐标变化，记录连续图像中关键点在立体坐标空间中的相应坐标变化。3.如权利要求2所述的三维模型的实时控制方法，所述根据标识动作的变化，形成相应3D模型的动作控制指令，包括：将关键点的坐标变化形成现实对象相应3D模型的动作控制指令。4.如权利要求2所述的三维模型的实时控制方法，所述根据预置对象识别策略在实时视频的图像中识别现实对象包括：获取实时视频的一帧原始图像M0；根据递减的抽样率，生成分辨率相应递减的一组原始图像副本，从中获取完成人脸区域标定的低分辨率的原始图像副本，形成人脸区域标定数据。5.如权利要求4所述的三维模型的实时控制方法，所述根据预置对象识别策略在实时视频的图像中识别现实对象还进一步包括：当在所有原始图像副本中没完成人脸区域标定，采用原始图像M0完成人脸区域标定。6.如权利要求4所述的三维模型的实时控制方法，所述根据预置关键点识别策略识别图像中现实对象的关键点包括：在原始图像副本Mm-i，或/和后续的原始图像副本(Mm-i...M2，M1)，或/和原始图像M0标定的人脸区域，进行人脸关键点标定，形成存在精度差别的人脸关键点标定数据。7.如权利要求1所述的三维模型的实时控制方法，所述现实对象包括肢体、头部或面部，所述标识包括对肢体或头部动作的捕捉和分析，或对面部表情的捕捉和分析。8.如权利要求2所述的三维模型的实时控制方法，所述根据预置对象识别策略在实时视频的图像中识别现实对象包括：根据实时视频一帧图像的人脸区域标定，获取相应的原始图像副本Mm-i和原始图像M0的人脸区域标定数据；获取后续连续时长的帧图像的原始图像M0和相应的原始图像副本Mm-i；利用原始图像副本Mm-i的人脸区域标定数据完成后续连续时长的帧图像的原始图像副本Mm-i的人脸区域标定；或者，利用原始图像M0的人脸区域标定数据，完成后续连续时长的帧图像的原始图像M0的人脸区域标定。9.如权利要求2所述的三维模型的实时控制方法，所述根据预置对象识别策略在实时视频的图像中识别现实对象包括：2CN106251396A权利要求书2/5页根据实时视频一帧图像的人脸区域标定，获取相应的原始图像副本Mm-i或原始图像M0的人脸区域标定数据；在标定的人脸区域，标定人脸关键点；利用人脸关键点轮廓形成包围盒范围；利用扩大的包围盒范围作为下一帧的人脸区域，在包围盒范围内进行人脸关键点标定。10.如权利要求9所述的三维模型的实时控制方法，所述根据预置对象识别策略在实时视频的图像中识别现实对象，还进一步包括：当判断人脸关键点标定成功时，利用人脸关键点轮廓形成更新的包围盒范围并比例放大；当判断人脸关键点标定成功时，获取相应的原始图像副本Mm-i或原始图像M0的人脸区域标定数据。11.如权利要求2所述的三维模型的实时控制方法，所述形成关键点的平面坐标空间和相应3D模型的立体坐标空间包括：根据实时视频图像中正视人脸的人脸区域标定，标定正视人脸的2D关键点，利用其中具有相对固定位置的关键点，形成头部朝向基准图案；根据实时视频图像中正视人脸的2D关键点，形成的相应3D头部模型的正视三角网格，形成人脸的2D关