语音识别模型的训练方法、装置、存储介质及电子设备.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115101061A(43)申请公布日2022.09.23(21)申请号202210833610.4(22)申请日2022.07.14(71)申请人京东科技信息技术有限公司地址100176北京市大兴区北京经济技术开发区科创十一街18号院2号楼6层601(72)发明人付立(74)专利代理机构北京律智知识产权代理有限公司11438专利代理师王辉(51)Int.Cl.G10L15/06(2013.01)G10L15/16(2006.01)权利要求书2页说明书11页附图4页(54)发明名称语音识别模型的训练方法、装置、存储介质及电子设备(57)摘要本公开涉及语音识别领域，具体涉及一种语音识别模型的训练方法、装置、存储介质及电子设备。该语音识别模型的训练方法包括构建初始语音识别模型；固定第二初始参数，基于无标注数据集计算对比学习损失函数以将第一初始参数调整为第一中间参数；固定第一中间参数，基于有标注数据集计算第一联合损失函数以将第二初始参数调整为第二中间参数；基于有标注数据集计算第二联合损失函数，并根据第二联合损失函数对第一网络和第二网络进行训练，以调整第一中间参数和第二中间参数得到目标语音识别模型。本公开提供的语音识别模型的训练方法能够解决语音识别模型在标注数据不足时识别性能低的问题。CN115101061ACN115101061A权利要求书1/2页1.一种语音识别模型的训练方法，其特征在于，包括：构建初始语音识别模型；其中，所述初始语音识别模型包括具有第一初始参数的第一网络和具有第二初始参数的第二网络；固定所述第二初始参数，基于无标注数据集计算对比学习损失函数，并根据所述对比学习损失函数对所述第一网络进行自监督训练，以将所述第一初始参数调整为第一中间参数；固定所述第一中间参数，基于有标注数据集计算第一联合损失函数，并根据所述第一联合损失函数对所述第二网络进行训练，以将所述第二初始参数调整为第二中间参数；基于所述有标注数据集计算第二联合损失函数，并根据所述第二联合损失函数对所述第一网络和所述第二网络进行训练，以调整所述第一中间参数和所述第二中间参数得到目标语音识别模型。2.根据权利要求1所述的语音识别模型的训练方法，其特征在于，所述第一网络包括卷积神经网络模块和卷积增强模块。3.根据权利要求2所述的语音识别模型的训练方法，其特征在于，所述基于无标注数据集计算对比学习损失函数，包括：基于所述卷积神经网络模块计算所述无标注数据集中一音频样本数据的浅层表示结果；对所述浅层表示结果进行掩码处理得到掩码表示结果，并基于所述卷积增强模块计算所述掩码表示结果的深层表示结果；以及将所述浅层表示结果进行线性变换得到目标表示结果；基于所述深层表示结果和所述目标表示结果计算所述对比学习损失函数。4.根据权利要求3所述的语音识别模型的训练方法，其特征在于，所述对所述浅层表示结果进行掩码处理得到掩码表示结果，包括：基于随机掩码概率从所述浅层表示结果中进行随机选取得到种子样本帧；将所述浅层表示结果中所述种子样本帧之后的连续K帧的特征矢量替换为可学习向量得到所述掩码表示结果，其中K为正整数。5.根据权利要求3所述的语音识别模型的训练方法，其特征在于，所述基于所述深层表示结果和所述目标表示结果计算所述对比学习损失函数，包括：从所述深层表示结果中的掩码部分选取M帧锚样本作为第一样本，其中M为正整数；以及从所述目标表示结果中选取与所述第一样本中M帧锚样本一一对应的M帧锚样本作为第二样本，以及选取S帧负样本作为第三样本，其中S为正整数；基于所述第一样本和所述第二样本之间的相似度和所述第一样本和所述第三样本之间的相似度计算所述对比学习损失函数。6.根据权利要求1所述的语音识别模型的训练方法，其特征在于，所述第二网络包括特征变形模块。7.根据权利要求1所述的语音识别模型的训练方法，其特征在于，所述方法还包括：基于预设的音频采样率获取音频样本数据，并将所述音频样本数据划分为第一音频样本和第二音频样本；2CN115101061A权利要求书2/2页计算所述第一音频样本的音频特征矩阵以得到所述无标注数据集；以及根据计算的所述第二音频样本的音频特征矩阵和获取的所述第二音频样本的文本标注结果得到所述有标注数据集。8.一种语音识别模型的训练装置，其特征在于，包括：构建模型模块，用于构建初始语音识别模型；其中，所述初始语音识别模型包括具有第一初始参数的第一网络和具有第二初始参数的第二网络；第一训练模块，用于固定所述第二初始参数，基于无标注数据集计算对比学习损失函数，并根据所述对比学习损失函数对所述第一网络进行自监督训练，以将所述第一初始参数调整为第一中间参数；第二训练模块，用于固定所述第一中间参数，基于有标注数据集计算第一联合损