一种基于虚幻引擎的口型切换渲染系统及方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110782514A(43)申请公布日2020.02.11(21)申请号201910846148.X(22)申请日2019.09.09(71)申请人天脉聚源（杭州）传媒科技有限公司地址310000浙江省杭州市西湖区转塘科技经济区块16号3幢650室(72)发明人呼伦夫陈炜(74)专利代理机构广州嘉权专利商标事务所有限公司44205代理人黎扬鹏(51)Int.Cl.G06T13/40(2011.01)G06T15/00(2011.01)G06F40/284(2020.01)权利要求书2页说明书7页附图3页(54)发明名称一种基于虚幻引擎的口型切换渲染系统及方法(57)摘要本发明公开了一种基于虚幻引擎的口型切换渲染系统及方法，其中系统包括转换插件、蓝图组件和渲染引擎；所述转换插件用于获取汉语文本，并对汉语文本进行解析后，获得汉语文本中每个汉字的拼音，以及将各汉字的拼音进行拆解后，获得与拼音对应的音素数组；所述蓝图组件用于采用预设的融合曲线对音素数组进行融合，并根据融合后的音素数组获得映射值；所述渲染引擎用于根据映射值驱动口型的变化，从而渲染出不同的口型。本发明通过将汉字的拼音拆解为音素数组，再结合融合曲线对音素数组进行融合，从而获得驱动渲染引擎的映射值，由于映射值融合有上一个音素数组信息，因此能够使更加平滑地驱动口型变化，可广泛应用于人脸表情动画研究领域。CN110782514ACN110782514A权利要求书1/2页1.一种基于虚幻引擎的口型切换渲染系统，其特征在于，包括转换插件、蓝图组件和渲染引擎，所述蓝图组件分别转换插件和渲染引擎连接；所述转换插件用于获取汉语文本，并对汉语文本进行解析后，获得汉语文本中每个汉字的拼音，以及将各汉字的拼音进行拆解后，获得与拼音对应的音素数组；所述蓝图组件用于采用预设的融合曲线对音素数组进行融合，并根据融合后的音素数组获得映射值；所述渲染引擎用于根据映射值驱动口型的变化，从而渲染出不同的口型。2.根据权利要求1所述的一种基于虚幻引擎的口型切换渲染系统，其特征在于，所述转换插件内设有拼音数据库，所述转换插件对汉语文本进行解析后，获得汉语文本中每个汉字的拼音具体为：采用预设的转换器对拼音数据库的格式进行转换；根据转换格式后的拼音数据库对汉语文本进行解析，并获取每个汉字的拼音。3.根据权利要求1所述的一种基于虚幻引擎的口型切换渲染系统，其特征在于，所述音素数组包括声母和韵母，所述转换插件将各汉字的拼音进行拆解后，获得与拼音对应的音素数组具体为：依次将各汉字的拼音拆解为声母和韵母，并获得与拼音对应的音素数组；按照汉字的顺序对音素数组进行排序后，获得音素序列。4.根据权利要求3所述的一种基于虚幻引擎的口型切换渲染系统，其特征在于，所述转换插件内设有声母表，所述依次将各汉字的拼音拆解为声母和韵母这一步骤，具体包括以下步骤：依次获取拼音的首位字母，并结合首位字母和声母表检测是否存有声母；若存有声母，根据拼音遍历声母表后，获得声母的类型，以及获取韵母和韵母的类型；若不存有声母，则根据拼音获取韵母以及韵母的类型。5.根据权利要求4所述的一种基于虚幻引擎的口型切换渲染系统，其特征在于，所述蓝图组件具体用于：将解析获得的音素序列存储到音素池内后，根据声母的类获取声母曲线，以及根据韵母的类型获取韵母曲线；对声母曲线和韵母曲线分配时间权重后，将同一音素数组的声母曲线和韵母曲线进行融合，并获得音素曲线；按照音素序列的顺序，依次结合上一个音素曲线、当前音素曲线和预设的映射模型计算映射值；将映射值发送至渲染引擎。6.根据权利要求5所述的一种基于虚幻引擎的口型切换渲染系统，其特征在于，所述依次结合上一个音素曲线、当前音素曲线和预设的映射模型计算映射值这一步骤，具体包括以下步骤：依次采用Lerp函数将上一个音素曲线和当前音素曲线进行融合，并获得混合曲线；采用预设的映射模型对混合曲线进行计算后，获得映射值。7.根据权利要求6所述的一种基于虚幻引擎的口型切换渲染系统，其特征在于，所述渲染引擎上预设有口型模型，所述渲染引擎具体用于：2CN110782514A权利要求书2/2页依次结合映射值和预设的口型模型驱动口型的变化，并渲染出不同的口型。8.一种基于虚幻引擎的口型切换渲染方法，其特征在于，包括以下步骤：获取汉语文本，并对汉语文本进行解析后，获得汉语文本中每个汉字的拼音；将各汉字的拼音进行拆解后，获得与拼音对应的音素数组；采用预设的融合曲线对音素数组进行融合，并根据融合后的音素数组获得映射值；根据映射值驱动口型的变化，从而渲染出不同的口型。9.根据权利要求8所述的一种基于虚幻引擎的口型切换渲染方法，其特征在于，所述获取汉语文本，并对汉语文本进行解析后，获得汉