预览加载中,请您耐心等待几秒...
1/10
2/10
3/10
4/10
5/10
6/10
7/10
8/10
9/10
10/10

亲,该文档总共19页,到这已经超出免费预览范围,如果喜欢就直接下载吧~

如果您无法下载资料,请参考说明:

1、部分资料下载需要金币,请确保您的账户上有足够的金币

2、已购买过的文档,再次下载不重复扣费

3、资料包下载后请先用软件解压,在使用对应软件打开

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111968647A(43)申请公布日2020.11.20(21)申请号202010873809.0(22)申请日2020.08.26(71)申请人北京字节跳动网络技术有限公司地址100041北京市石景山区实兴大街30号院3号楼2层B-0035房间(72)发明人殷翔(74)专利代理机构北京英创嘉友知识产权代理事务所(普通合伙)11447代理人贾会玲(51)Int.Cl.G10L15/26(2006.01)G10L15/06(2013.01)H04N21/4402(2011.01)权利要求书2页说明书12页附图4页(54)发明名称语音识别方法、装置、介质及电子设备(57)摘要本公开涉及一种语音识别方法、装置、介质及电子设备。方法包括:获取目标视频数据,所述目标视频数据包括目标音频数据和目标图像数据;提取所述目标音频数据对应的第一文本数据;提取所述目标图像数据的特征信息,并根据所述特征信息,生成用于描述所述目标图像数据的第二文本数据;根据所述第二文本数据,对所述第一文本数据进行修正,得到修正后的第一文本数据。由此,可以避免因目标视频数据中杂音或者背景音乐对语音识别准确度的影响,从而提升了目标音频数据对应的文本内容的准确度。CN111968647ACN111968647A权利要求书1/2页1.一种语音识别方法,其特征在于,包括:获取目标视频数据,所述目标视频数据包括目标音频数据和目标图像数据;提取所述目标音频数据对应的第一文本数据;提取所述目标图像数据的特征信息,并根据所述特征信息,生成用于描述所述目标图像数据的第二文本数据;根据所述第二文本数据,对所述第一文本数据进行修正,得到修正后的第一文本数据。2.根据权利要求1所述的方法,其特征在于,所述提取所述目标音频数据对应的第一文本数据,包括:将所述目标音频数据输入至语音识别模型中,以得到所述目标音频数据对应的第一文本数据;所述提取所述目标图像数据的特征信息,并根据所述特征信息,生成用于描述所述目标图像数据的第二文本数据,包括:将所述目标图像数据输入至描述信息生成模型中,以通过所述描述信息生成模型提取所述目标图像数据的特征信息,并根据所述特征信息,生成用于描述所述目标图像数据的第二文本数据;其中,所述语音识别模型的训练样本是通过语音合成模型生成的,所述描述信息生成模型的训练样本是通过图像生成模型生成的。3.根据权利要求2所述的方法,其特征在于,所述语音识别模型和所述描述信息生成模型通过如下方式训练得到:获取第一参考文本数据;通过将所述第一参考文本数据、所述语音识别模型的输出以及所述描述信息生成模型的输出作为所述语音合成模型的输入,将所述语音合成模型的输出作为所述语音识别模型的输入,将所述第一参考文本数据作为所述语音识别模型的目标输出,将所述第一参考文本数据、所述语音识别模型的输出以及所述描述信息生成模型的输出作为所述图像生成模型的输入,将所述图像生成模型的输出作为所述描述信息生成模型的输入,将所述第一参考文本数据作为所述描述信息生成模型的目标输出的方式进行模型训练,以得到所述语音识别模型和所述描述信息生成模型。4.根据权利要求2所述的方法,其特征在于,在进行模型训练之前,所述方法还包括:对所述语音识别模型和所述描述信息生成模型进行预训练。5.根据权利要求4所述的方法,其特征在于,所述对所述语音识别模型和所述描述信息生成模型进行预训练,包括:获取第二参考文本数据;通过将所述第二参考文本数据和所述语音识别模型的输出作为所述语音合成模型的输入,将所述语音合成模型的输出作为所述语音识别模型的输入,将所述第二参考文本数据作为所述语音识别模型的目标输出的方式对所述语音识别模型进行预训练;通过将所述第二参考文本数据、所述描述信息生成模型的输出以及预训练后所得的语音识别模型的输出作为所述图像生成模型的输入,将所述图像生成模型的输出作为所述描述信息生成模型的输入,将所述第二参考文本数据作为所述描述信息生成模型的目标输出的方式对所述描述信息生成模型进行预训练。2CN111968647A权利要求书2/2页6.根据权利要求4所述的方法,其特征在于,所述对所述语音识别模型和所述描述信息生成模型进行预训练,包括:获取第二参考文本数据;通过将所述第二参考文本数据和所述描述信息生成模型的输出作为所述图像生成模型的输入,将所述图像生成模型的输出作为所述描述信息生成模型的输入,将所述第二参考文本数据作为所述描述信息生成模型的目标输出的方式对所述描述信息生成模型进行预训练;通过将所述第二参考文本数据、所述语音识别模型的输出以及预训练后所得的描述信息生成模型的输出作为所述语音合成模型的输入,将所述语音合成模型的输出作为所述语音识别模型的输入,将所述