基于UE引擎的表情捕捉方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN108564641A(43)申请公布日2018.09.21(21)申请号201810217893.3(22)申请日2018.03.16(71)申请人中国科学院自动化研究所地址100190北京市海淀区中关村东路95号(72)发明人车武军吴泽烨谷卓徐波(74)专利代理机构北京瀚仁知识产权代理事务所(普通合伙)11482代理人郭文浩陈晓鹏(51)Int.Cl.G06T13/40(2011.01)G06K9/00(2006.01)权利要求书2页说明书6页附图1页(54)发明名称基于UE引擎的表情捕捉方法及装置(57)摘要本发明属于计算机视觉技术领域，具体涉及一种基于UE引擎的表情捕捉方法及装置。旨在解决现有技术根据捕捉到的面部表情数据输出表情动画格式不通用的问题。本发明提供一种基于UE引擎的表情捕捉方法，包括根据预先构建的基础表情模型识别用户表情；计算用户表情的表情权重参数，并将其转换为预先构建的虚拟角色的表情权重参数；将虚拟角色的表情权重参数输入UE虚拟引擎，UE虚拟引擎渲染输出虚拟角色的表情。本发明的UE虚拟引擎能够通过预先设置的表情转换对应关系输出虚拟角色的表情，从而可以实现实时编辑面部表情动画，为后期开发制作提供了便利。CN108564641ACN108564641A权利要求书1/2页1.一种基于UE虚拟引擎的表情捕捉方法，其特征在于，所述方法包括：根据预先构建的基础表情模型识别用户表情；计算所述用户表情的表情权重参数，并将其转换为预先构建的虚拟角色的表情权重参数；将所述虚拟角色的表情权重参数输入UE虚拟引擎，所述UE虚拟引擎渲染输出所述虚拟角色的表情。2.根据权利要求1所述的方法，其特征在于，“将所述虚拟角色的表情权重参数输入UE虚拟引擎，所述UE虚拟引擎渲染输出所述虚拟角色的表情”，其方法为：将所述虚拟角色的表情权重参数输入所述UE虚拟引擎的目标变形设置函数，控制所述虚拟角色的面部顶点变形做出表情，所述UE虚拟引擎根据预先设置的表情转换对应关系，渲染输出所述虚拟角色的表情。3.根据权利要求1所述的方法，其特征在于，“将其转换为预先构建的虚拟角色的表情权重参数”，其方法为：判断所述用户表情的表情权重参数的种类是否与标准表情权重参数的种类一致；若种类一致，则将所述用户表情的表情权重参数赋值给所述标准表情权重参数；若种类不一致，则通过权重参数转换函数将所述用户表情的表情权重参数转换为所述虚拟角色的表情权重参数；其中，所述标准表情权重参数为所述虚拟角色预设的表情权重参数。4.根据权利要求1-3任一项所述的方法，其特征在于，构建基础表情模型的方法为：通过体感相机采集多种基础表情，基于多种基础表情使用FaceShift软件和所述UE虚拟引擎分析拟合出包含多种基础表情的基础表情模型。5.一种基于UE虚拟引擎的表情捕捉装置，其特征在于，所述装置包括：识别模块，所述识别模块被配置为根据预先构建的基础表情模型识别用户表情；转换模块，所述转换模块被配置为计算所述用户表情的表情权重参数，并将其转换为预先构建的虚拟角色的表情权重参数；输出模块，所述输出模块被配置为将所述虚拟角色的表情权重参数输入UE虚拟引擎，所述UE虚拟引擎渲染输出所述虚拟角色的表情。6.根据权利要求5所述的装置，其特征在于，所述输出模块还用于：将所述虚拟角色的表情权重参数输入所述UE虚拟引擎的目标变形设置函数，控制所述虚拟角色的面部顶点变形做出表情，所述UE虚拟引擎根据预先设置的表情转换对应关系渲染输出所述虚拟角色的表情。7.根据权利要求5所述的装置，其特征在于，所述转换模块还用于：判断所述用户表情的表情权重参数的种类是否与标准表情权重参数的种类一致；若种类一致，则将所述用户表情的表情权重参数赋值给所述标准表情权重参数；若种类不一致，则通过权重参数转换函数将所述用户表情的表情权重参数转换为所述虚拟角色的表情权重参数；其中，所述标准表情权重参数为所述虚拟角色预设的表情权重参数。8.根据权利要求5-7任一项所述的装置，其特征在于，所述识别模块还用于：通过体感相机采集多种基础表情，基于多种基础表情使用FaceShift软件和所述UE虚2CN108564641A权利要求书2/2页拟引擎分析拟合出包含多种基础表情的基础表情模型。9.一种存储装置，其中存储有多条程序，其特征在于，所述程序适于由处理器加载并执行如权利要求1-4任一项所述的基于UE虚拟引擎的表情捕捉方法。10.一种处理装置，包括处理器、存储设备；处理器，适于执行各条程序；存储设备，适于存储多条程序；其特征在于，所述程序适于由处理器加载并执行如权利要求1-4任一项所述的基于UE虚拟引擎的表情捕捉方法。3CN108564641A说明书1/6页基于UE引擎的