虚拟形象唇形驱动方法、装置、介质及电子设备.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN116129012A(43)申请公布日2023.05.16(21)申请号202310108970.2(22)申请日2023.01.31(71)申请人北京有竹居网络技术有限公司地址101299北京市平谷区林荫北街13号1幢10层1001-09(72)发明人毕成马泽君(74)专利代理机构北京英创嘉友知识产权代理事务所(普通合伙)11447专利代理师南毅宁(51)Int.Cl.G06T13/40(2011.01)权利要求书3页说明书20页附图6页(54)发明名称虚拟形象唇形驱动方法、装置、介质及电子设备(57)摘要本公开涉及一种虚拟形象唇形驱动方法、装置、介质及电子设备。方法包括：确定目标文本对应的目标IPA序列和该序列中各音标的发音时长；根据每一发音时长，对目标IPA序列进行时长扩展，得到扩展序列；针对扩展序列中的每一音标，从扩展序列中提取包含该音标的N‑gram音标串，得到目标音标序列；根据参考音标序列与唇形参数的对应关系，确定与目标音标序列相匹配的唇形参数；基于该音标对应的唇形参数，对目标虚拟形象进行唇形渲染。在获取扩展序列中的每一目标音标对应的唇形参数时，同时考虑目标音标本身和其上下文信息，可使得不同IPA组合下的唇形参数更符合真实面部情况，使得目标虚拟形象的唇形尽可能逼真，提升动画效果。CN116129012ACN116129012A权利要求书1/3页1.一种虚拟形象唇形驱动方法，其特征在于，包括：确定目标文本对应的目标IPA序列和所述目标IPA序列中各音标的目标发音时长；根据每一所述目标发音时长，对所述目标IPA序列进行时长扩展，得到扩展序列；针对所述扩展序列中的每一目标音标，从所述扩展序列中提取包含该目标音标的N‑gram音标串，得到目标音标序列，其中，N≥2，该目标音标位于所述目标音标序列的预设位置；根据预先建立的参考音标序列与唇形参数的对应关系，确定与所述目标音标序列相匹配的唇形参数，其中，所述参考音标序列对应的唇形参数用于表征所述参考音标序列中、所述预设位置的音标所对应的唇形参数；基于该目标音标对应的唇形参数，对目标虚拟形象进行唇形渲染。2.根据权利要求1所述的方法，其特征在于，所述根据预先建立的参考音标序列与唇形参数的对应关系，确定与所述目标音标序列相匹配的唇形参数，包括：若所述对应关系中存在与所述目标音标序列完全匹配的参考音标序列，则将完全匹配的参考音标序列对应的唇形参数，确定为与所述目标音标序列相匹配的唇形参数。3.根据权利要求2所述的方法，其特征在于，所述根据预先建立的参考音标序列与唇形参数的对应关系，确定与所述目标音标序列相匹配的唇形参数，还包括：若所述对应关系中不存在与所述目标音标序列完全匹配的参考音标序列，则从包含预设字符的所述参考音标序列中，确定与所述目标音标序列匹配度最大的候选音标序列，其中，所述预设字符并非国际音标、且位于其所在参考音标序列中除所述预设位置外的其他位置，所述候选音标序列中除所述预设字符所在位置外的其他位置的音标与所述目标音标序列中相应位置的音标相同；根据所述候选音标序列对应的唇形参数，确定与所述目标音标序列相匹配的唇形参数。4.根据权利要求3所述的方法，其特征在于，所述根据所述候选音标序列对应的唇形参数，确定与所述目标音标序列相匹配的唇形参数，包括：若所述候选音标序列为多个，则将每一所述候选音标序列对应的唇形参数的均值或中位数，确定为与所述目标音标序列相匹配的唇形参数；若所述候选音标序列为一个，则将所述候选音标序列对应的唇形参数，确定为与所述目标音标序列相匹配的唇形参数。5.根据权利要求1所述的方法，其特征在于，所述对应关系通过以下方式构建：获取多个面部视频；针对每一所述面部视频，从该面部视频的每一视频帧中提取唇形参数；确定该面部视频中音频对应的样本IPA序列和所述样本IPA序列中每一样本音标的样本发音时长；根据所述样本IPA序列和每一所述样本发音时长，从该面部视频中确定每一所述样本音标对应的视频片段；针对每一所述样本音标，从所述样本IPA序列中提取包含该样本音标的N‑gram音标串，得到参考音标序列；将该样本音标对应的视频片段中各视频帧的唇形参数构成的参数序列，确定为所述参考音标序列对应的第一候选参数序列；针对每一所述参考音标序列，根据该参考音标序列对应的至少一个第一候选参数序列，确定该参考音标序列对应的唇形参数。6.根据权利要求5所述的方法，其特征在于，所述根据该参考音标序列对应的至少一个2CN116129012A权利要求书2/3页第一候选参数序列，确定该参考音标序列对应的唇形参数，包括：针对该参考音标序列对应的每一所述第一候选参数序列，从该第一候选参数序列中确定参考唇形参数；将每一所述参考唇形参数的均值或者中