用于化身生成、渲染和动画的系统和方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号(10)申请公布号CNCN104205171104205171A(43)申请公布日2014.12.10(21)申请号201280071879.8(22)申请日2012.04.09(85)PCT国际申请进入国家阶段日2014.09.26(86)PCT国际申请的申请数据PCT/CN2012/0004602012.04.09(87)PCT国际申请的公布数据WO2013/152455EN2013.10.17(71)申请人英特尔公司地址美国加利福尼亚州(72)发明人X.童李文龙杜杨洲W.胡Y.张J.李(74)专利代理机构中国专利代理(香港)有限公司72001代理人徐予红姜甜(51)Int.Cl.G06T13/80(2006.01)权权利要求书3页利要求书3页说明书14页说明书14页附图10页附图10页(54)发明名称用于化身生成、渲染和动画的系统和方法(57)摘要一种用于将参与用户的实际活动图像替换为动画化身的视频通信系统。系统允许生成、渲染和以动画表现用户的面部的二维(2D)化身。2D化身表示用户的基本面部形状和关键面部特点，包括但不限于眼睛、鼻子、嘴和面部轮廓的位置和形状。系统还允许为显示进行自适应渲染，从而允许在用户装置的相关联不同大小的显示器上显示不同比例的2D化身。CN104205171ACN104257ACN104205171A权利要求书1/3页1.一种用于在第一用户装置与远程用户装置之间的通信期间的化身生成、渲染和动画的系统，所述系统包括：照相机，配置成捕捉图像；通信模块，配置成在所述第一与所述远程用户装置之间启动并建立通信，并且在所述第一与所述远程用户装置之间传送和接收信息；以及一个或更多个存储媒体，所述存储媒体上单独或组合地存储指令，所述指令在由一个或更多个处理器执行时产生以下操作，包括：选择基于模型的二维(2D)化身和基于草图的2D化身中的至少一个以便在通信期间使用；启动通信；捕捉图像；检测所述图像中的面部；从所述面部确定面部特点；将所述面部特点转换成化身参数；传送所述化身选择和化身参数中的至少一个。2.如权利要求1所述的系统，其中从所述面部确定面部特点包括：检测和识别所述面部中的面部标志，所述面部标志包括所述图像中所述面部的前额、下巴、眼睛、鼻子、嘴和面部轮廓中的至少一个；以及至少部分基于所述识别的面部标志生成面部参数，所述面部参数包括一个或更多个关键点和在所述一个或更多个关键点的至少两个关键点之间形成连接的边缘。3.如权利要求1所述的系统，其中所述化身选择和化身参数用于在远程装置上生成化身，所述化身是基于所述面部特点。4.如权利要求1所述的系统，其中所述化身选择和化身参数用于在虚拟空间中生成化身，所述化身是基于所述面部特点。5.如权利要求1所述的系统，其中所述指令在由一个或更多个处理器执行时产生以下另外的操作：接收远程化身选择和远程化身参数中的至少一个。6.如权利要求6所述的系统，还包括显示器，其中所述指令在由一个或更多个处理器执行时产生以下另外的操作：基于所述远程化身参数渲染所述远程化身选择以允许无失真或很少失真地显示基于所述远程化身选择的化身；以及基于所述渲染的远程化身选择来显示所述化身。7.如权利要求7所述的系统，其中所述指令在由一个或更多个处理器执行时产生以下另外的操作：基于所述远程化身选择以动画表现所述显示的化身。8.一种用于在第一用户装置与远程用户装置之间的通信期间的化身生成、渲染和动画的设备，所述设备包括：通信模块，配置成在所述第一与所述远程用户装置之间启动和建立通信；化身选择模块，配置成允许用户选择基于模型的二维(2D)化身和基于草图的2D化身2CN104205171A权利要求书2/3页中的至少一个以便在通信期间使用；面部检测模块，配置成检测所述用户的图像中的面部区域，并且检测和识别所述面部的一个或更多个面部特点；以及化身控制模块，配置成将所述面部特点转换成化身参数；其中所述通信模块配置成传送所述化身选择和化身参数中的至少一个。9.如权利要求8所述的设备，其中所述面部检测模块包括：标志检测模块，配置成识别所述图像中所述面部区域的面部标志，所述面部标志包括所述面部的前额、下巴、眼睛、鼻子、嘴和面部轮廓中的至少一个；以及面部参数模块，配置成至少部分基于所述识别的面部标志生成面部参数，所述面部参数包括一个或更多个关键点和在所述一个或更多个关键点的至少两个关键点之间形成连接的边缘。10.如权利要求9所述的设备，其中所述化身控制模块配置成至少部分基于所述面部参数，生成所述基于草图的2D化身。11.如权利要求8所述的设备，其中所述化身选择和化身参数用于在所述远程装置上生成化身，所述化身是基于所述面部特点。12.如权利要求8所述的设备，其