基于人工智能的直播方法、装置、设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112995706A(43)申请公布日2021.06.18(21)申请号202110184746.2H04N21/478(2011.01)(22)申请日2019.12.19H04N21/2187(2011.01)G06F21/64(2013.01)(62)分案原申请数据201911319847.52019.12.19(71)申请人腾讯科技（深圳）有限公司地址518057广东省深圳市南山区高新区科技中一路腾讯大厦35层(72)发明人朱绍明(74)专利代理机构北京派特恩知识产权代理有限公司11270代理人赵翠萍张颖玲(51)Int.Cl.H04N21/233(2011.01)H04N21/234(2011.01)H04N21/2343(2011.01)权利要求书3页说明书17页附图5页(54)发明名称基于人工智能的直播方法、装置、设备及存储介质(57)摘要本发明提供了一种基于人工智能的直播方法、装置、设备及存储介质；方法包括：接收用于供虚拟主播表演的给定文本；对所述给定文本对应的脸部特征进行特效渲染处理，得到包括所述脸部特征的脸部图像；对所述脸部图像和背景图像进行合成处理，得到对应所述虚拟主播的图像帧；基于所述虚拟主播的图像帧和对应所述给定文本的音频数据，合成对应所述给定文本的推流数据包；向客户端发送所述推流数据包，通过本发明，能够将文本数据自动实时合成为视频推送到客户端，从而有效提高直播的实时性、并降低直播劳动力成本。CN112995706ACN112995706A权利要求书1/3页1.一种基于人工智能的直播方法，其特征在于，所述方法包括：接收用于供虚拟主播表演的给定文本；对所述给定文本对应的脸部特征进行特效渲染处理，得到包括所述脸部特征的脸部图像；对所述脸部图像和背景图像进行合成处理，得到对应所述虚拟主播的图像帧；基于所述虚拟主播的图像帧和对应所述给定文本的音频数据，合成对应所述给定文本的推流数据包；向客户端发送所述推流数据包。2.根据权利要求1所述的方法，其特征在于，所述接收用于供虚拟主播表演的给定文本之后，所述方法还包括：对所述给定文本进行划分处理，得到对应所述给定文本的多个语段；生成对应任意一个所述语段的媒体数据包，并继续实时处理下一个语段，以生成对应所述下一个语段的媒体数据包；其中，所述媒体数据包包括根据所述语段获取的音频数据和脸部特征，且所述音频数据和所述脸部特征与所述虚拟主播对应。3.根据权利要求1所述的方法，其特征在于，所述接收用于供虚拟主播表演的给定文本之后，所述方法还包括：根据所述给定文本实时获取对应所述虚拟主播的音频数据和脸部特征；基于所述虚拟主播的音频数据和脸部特征，形成至少一个媒体数据包，并继续处理下一个所述给定文本。4.根据权利要求3所述的方法，其特征在于，所述根据所述给定文本实时获取对应所述虚拟主播的音频数据，包括：当接收到所述给定文本时，实时将所述给定文本转化为对应所述给定文本的词向量；对所述词向量进行编码处理以及解码处理，得到对应所述词向量的音频特征；对所述音频特征进行合成处理，得到对应所述虚拟主播的音频数据。5.根据权利要求3所述的方法，其特征在于，所述根据所述给定文本实时获取对应所述虚拟主播的脸部特征，包括：根据对应所述给定文本的音频数据，预测所述虚拟主播的嘴部关键点，并对所述嘴部关键点进行归一化处理，以使所述嘴部关键点适应于标准面部模板；对经过归一化处理的嘴部关键点进行降维处理，得到对应所述虚拟主播的口型特征；对所述给定文本进行语义分析，得到所述给定文本所表征的语义；根据所述给定文本所表征的语义，确定与所述语义匹配的脸部表情特征，并结合所述口型特征以及所述脸部表情特征形成对应所述虚拟主播的脸部特征。6.根据权利要求5所述的方法，其特征在于，对所述嘴部关键点进行归一化处理之前，所述方法还包括：向区块链网络发送查询交易，其中，所述查询交易指示了用于查询所述区块链网络中账本的智能合约，以使所述区块链网络中的共识节点通过执行所述智能合约的方式来查询所述账本，得到所述账本中存储的所述标准面部模板；或者2CN112995706A权利要求书2/3页根据所述标准面部模板的标识，从标准面部模板数据库中查询所述标识对应的所述标准面部模板，并确定所述查询到的标准面部模板的哈希值；从区块链网络中查询所述标识对应的哈希值，当所查询到的哈希值与所述确定的哈希值一致时，确定所述查询到的标准面部模板未经篡改。7.根据权利要求3所述的方法，其特征在于，在形成至少一个媒体数据包之前，所述方法还包括：将所述给定文本发送至区块链网络，以使所述区块链网络中的共识节点通过执行智能合约的方式来对所述给定文本进行合规性检查；当接收到超过预设数目的共识节点返回的