数字人渲染方法、系统、存储介质和电子设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113850899A(43)申请公布日2021.12.28(21)申请号202111212383.5(22)申请日2021.10.18(71)申请人深圳追一科技有限公司地址518000广东省深圳市南山区粤海街道科技园社区科苑路8号讯美科技广场3号楼23A、23B(72)发明人常向月王雨辰穆少垒(74)专利代理机构北京集佳知识产权代理有限公司11227代理人李慧慧(51)Int.Cl.G06T15/00(2011.01)权利要求书2页说明书8页附图4页(54)发明名称数字人渲染方法、系统、存储介质和电子设备(57)摘要本发明公开数字人渲染方法、系统、存储介质和电子设备，通过获得用户输入的交互信号；将交互信号发送至数字人服务器，以获得数字人服务器针对交互信号所响应的响应音频信号；将响应音频信号发送至数字人神态模块，以获得数字人神态模块针对响应音频信号输出的数字人神态数据，数字人神态数据包括：数字人嘴型数据和数字人动作数据；将数字人神态数据发送至UE3D渲染模块，使得UE3D渲染模块根据数字人神态数据，渲染相应数字人在3D交互场景中的嘴型和动作嘴型与数字人嘴型数据相匹配，动作与数字人动作数据相匹配。本发明可以渲染数字人在3D交互场景中的嘴型和动作，使得数字人的嘴型和动作均与音频保持一致，提高了用户体验。CN113850899ACN113850899A权利要求书1/2页1.一种数字人渲染方法，其特征在于，包括：获得用户输入的交互信号，其中，所述交互信号为涉及与数字人进行交互的用户音频信号或者用户触控信号；将所述交互信号发送至数字人服务器，以获得所述数字人服务器针对所述交互信号所响应的响应音频信号；将所述响应音频信号发送至数字人神态模块，以获得所述数字人神态模块针对所述响应音频信号输出的数字人神态数据，其中，所述数字人神态数据包括：数字人嘴型数据和数字人动作数据；将所述数字人神态数据发送至UE3D渲染模块，使得所述UE3D渲染模块根据所述数字人神态数据，渲染相应数字人在3D交互场景中的嘴型和动作，其中，所述嘴型与数字人嘴型数据相匹配，所述动作与所述数字人动作数据相匹配。2.根据权利要求1所述的方法，其特征在于，在所述将所述响应音频信号发送至数字人神态模块之后，所述方法还包括：将所述响应音频信号发送至所述UE3D渲染模块，使得所述UE3D渲染模块根据所述数字人神态数据和响应音频信号，渲染相应数字人在所述3D交互场景中的嘴型和动作均与所述响应音频信号保持匹配。3.根据权利要求1所述的方法，其特征在于，所述获得用户输入的交互信号，包括：获得所述用户通过前端APP中的所述3D交互场景发送至所述UE3D渲染模块的网络层，并由所述网络层确定为涉及与数字人进行交互的交互信号。4.根据权利要求1所述的方法，其特征在于，所述将所述数字人神态数据发送至UE3D渲染模块，使得所述UE3D渲染模块根据所述数字人神态数据，渲染相应数字人在所述3D交互场景中的嘴型和动作，包括：将所述数字人神态数据发送至所述UE3D渲染模块的网络层，使得所述网络层将所述数字人神态数据发送至所述UE3D渲染模块的渲染层，进一步使得所述渲染层根据所述数字人神态数据调用UE渲染接口，从而渲染所述UE3D渲染模块的资源层中的所述3D交互场景，以及所述数字人的嘴型和动作。5.根据权利要求1所述的方法，其特征在于，所述将所述数字人神态数据发送至UE3D渲染模块，使得所述UE3D渲染模块根据所述数字人神态数据，渲染相应数字人在所述3D交互场景中的嘴型和动作，包括：将所述数字人神态数据发送至UE3D渲染模块，使得所述UE3D渲染模块根据所述数字人神态数据，渲染相应数字人在所述3D交互场景中的嘴型和动作，以获得所述数字人在所述3D交互场景中的音视频流，并由所述所述UE3D渲染模块将音视频流发送至前端APP，进一步使得所述前端APP通过电子屏幕播放所述音视频流。6.一种数字人渲染系统，其特征在于，包括：中控模块，所述中控模块包括：交互信号获得单元、响应信号发送单元、神态数据获得单元和第一渲染单元；所述交互信号获得单元，用于获得用户输入的交互信号，其中，所述交互信号为涉及与数字人进行交互的用户音频信号或者用户触控信号；所述响应信号发送单元，用于将所述交互信号发送至数字人服务器，以获得所述数字人服务器针对所述交互信号所响应的响应音频信号；2CN113850899A权利要求书2/2页所述神态数据获得单元，用于将所述响应音频信号发送至数字人神态模块，以获得所述数字人神态模块针对所述响应音频信号输出的数字人神态数据，其中，所述数字人神态数据包括：数字人嘴型数据和数字人动作数据；所述第一渲染单元，用于将所述数字人神态数据发送至UE3D渲