语音顺滑模型训练方法、语音顺滑方法及相关设备.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115762486A(43)申请公布日2023.03.07(21)申请号202211152932.9(22)申请日2022.09.21(71)申请人浙江极氪智能科技有限公司地址315899浙江省宁波市新碶街道辽河路商务大厦1幢1031室申请人浙江吉利控股集团有限公司(72)发明人陈龙(74)专利代理机构广州三环专利商标代理有限公司44202专利代理师黄盼(51)Int.Cl.G10L15/06(2013.01)G10L15/26(2006.01)G10L15/16(2006.01)权利要求书3页说明书14页附图4页(54)发明名称语音顺滑模型训练方法、语音顺滑方法及相关设备(57)摘要本申请公开了一种语音顺滑模型的训练方法、语音顺滑方法及相关设备，该方法通过语音顺滑模型中的编码网络和第一解码网络对样本语音数据进行语音识别预测，得到预测文本识别结果；获取编码网络输出的第一隐特征以及第一解码网络输出的第二隐特征，通过语音顺滑模型中的第二解码网络对该第一隐特征和第二隐特征进行语音顺滑预测，得到预测顺滑结果。基于各个预测结果所构建的总损失函数来训练语音顺滑模型，获得经训练的语音顺滑模型。从而在利用了原始语音信息的同时，也完整的保留了说话人的发音习惯等个人信息，减少了语音识别的误判，提高语音顺滑的准确性。CN115762486ACN115762486A权利要求书1/3页1.一种语音顺滑模型的训练方法，其特征在于，包括：获取训练样本，所述训练样本包括样本语音数据、以及所述样本语音数据对应的真实文本序列和对应的顺滑文本序列；确定语音顺滑模型，所述语音顺滑模型依次包括编码网络、第一解码网络和第二解码网络；通过所述编码网络和所述第一解码网络对所述样本语音数据进行语音识别预测，得到预测文本识别结果；获取所述编码网络输出的第一隐特征以及所述第一解码网络输出的第二隐特征，通过所述第二解码网络对所述第一隐特征和所述第二隐特征进行语音顺滑预测，得到预测顺滑结果；基于所述预测识别结果、所述真实文本序列、所述顺滑文本序列以及所述预测顺滑结果，确定总训练损失；基于所述总训练损失训练所述语音顺滑模型，直至满足训练结束条件，获得经训练的语音顺滑模型。2.根据权利要求1所述的语音顺滑模型的训练方法，其特征在于，所述通过所述编码网络和所述第一解码网络对所述样本语音数据进行语音识别预测，得到预测文本识别结果，包括：将所述样本语音数据输入至所述编码网络中编码模块进行特征编码处理，获得所述第一隐特征；将所述第一隐特征和所述真实文本序列中第一目标文本序列，输入至所述第一解码网络中第一解码模块进行解码处理，获得所述第二隐特征；所述第一目标文本序列为所述真实文本序列中在预测当前识别文本之前的各文本序列；将所述第二隐特征输入至所述第一解码网络中识别模块进行语音识别预测，得到预测文本识别结果；所述预测文本识别结果用于指示所述样本语音数据对应的预测识别文本序列。3.根据权利要求2所述的语音顺滑模型的训练方法，其特征在于，所述将所述第一隐特征和所述真实文本序列中第一目标文本序列，输入至所述第一解码网络中第一解码模块进行解码处理，获得所述第二隐特征，包括：获取所述真实文本序列中第一目标文本序列对应的第一文本嵌入特征；基于所述第一解码网络中第一解码模块，对所述第一隐特征和所述第一文本嵌入特征进行注意力计算，得到所述第二隐特征。4.根据权利要求1所述的语音顺滑模型的训练方法，其特征在于，所述通过所述第二解码网络对所述第一隐特征和所述第二隐特征进行语音顺滑预测，得到预测顺滑结果，包括：将所述第一隐特征、所述第二隐特征和所述顺滑文本序列中第二目标文本序列，输入至所述第二解码网络中第二解码模块进行解码处理，获得第三隐特征；所述第二目标文本序列为所述顺滑文本序列中在预测当前顺滑文本之前的各文本序列；将所述第三隐特征输入至所述第二解码网络中顺滑模块进行语音顺滑预测，得到预测顺滑结果；所述预测顺滑结果用于指示所述样本语音数据对应的预测顺滑文本序列。5.根据权利要求4所述的语音顺滑模型的训练方法，其特征在于，所述第二解码模块包2CN115762486A权利要求书2/3页括第一解码子模块和第二解码子模块；所述将所述第一隐特征、所述第二隐特征和所述顺滑文本序列中第二目标文本序列，输入至所述第二解码网络中第二解码模块进行解码处理，获得第三隐特征，包括：获取所述顺滑文本序列中第二目标文本序列对应的第二文本嵌入特征；基于所述第一解码子模块，对所述第一隐特征和所述第二文本嵌入特征进行注意力计算，得到中间隐特征；基于所述第二解码子模块，对所述第二隐特征和所述中间隐特征进行注意力计算，得到所述第三隐特征。6.根据权利要求1‑5任一所述的语音顺滑模型的训练方法，