模型处理方法、装置、电子设备及可读存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113889078A(43)申请公布日2022.01.04(21)申请号202111132657.XG10L15/26(2006.01)(22)申请日2021.09.26(71)申请人北京三快在线科技有限公司地址100080北京市海淀区北四环西路9号2106-030(72)发明人李敏丁科万广鲁(74)专利代理机构北京润泽恒知识产权代理有限公司11319代理人任亚娟(51)Int.Cl.G10L15/02(2006.01)G10L15/06(2013.01)G10L15/14(2006.01)G10L15/16(2006.01)G10L15/183(2013.01)权利要求书2页说明书16页附图4页(54)发明名称模型处理方法、装置、电子设备及可读存储介质(57)摘要本发明实施例提供了一种模型处理方法、装置、电子设备及可读存储介质，该方法中，将待识别音频的帧特征作为目标声学模型的输入。对于任一帧特征，利用目标声学模型中的注意力模块，基于帧特征以及帧特征的第一范围内的相邻帧特征，计算第一注意力权重矩阵，目标声学模型在训练过程中使用的相邻帧特征的范围为第二范围，第二范围小于第一范围；基于第一注意力权重矩阵，生成目标声学模型的输出，以确定待识别音频对应的文本。一定程度上可以缩短声学模型在训练过程中的处理时长，从而提高处理效率。同时，由于采用的相邻帧特征更多，进而一定程度上可以提高音频识别的准确性。CN113889078ACN113889078A权利要求书1/2页1.一种模型处理方法，其特征在于，所述方法包括：将待识别音频的帧特征作为目标声学模型的输入；对于任一帧特征，利用所述目标声学模型中的注意力模块，基于所述帧特征以及所述帧特征的第一范围内的相邻帧特征，计算第一注意力权重矩阵；所述目标声学模型在训练过程中使用的相邻帧特征的范围为第二范围，所述第二范围小于所述第一范围；基于所述第一注意力权重矩阵，生成所述目标声学模型的输出，以确定所述待识别音频对应的文本。2.根据权利要求1所述的方法，其特征在于，所述目标声学模型通过下述方式训练：获取已训练的初始声学模型；所述初始声学模型中的注意力模块在训练过程中使用的相邻帧特征的范围为第三范围，所述第三范围大于所述第二范围；以所述第二范围作为调整阶段中相邻帧特征的范围，并对所述初始声学模型进行调整训练，以获取所述目标声学模型。3.根据权利要求2所述的方法，其特征在于，所述以所述第二范围作为调整阶段中相邻帧特征的范围，并对所述初始声学模型进行调整训练，以获取所述目标声学模型，包括：将训练音频的样本帧特征作为所述初始声学模型的输入，并从所述初始声学模型对应的指定处理阶段开始，基于所述样本帧特征以及所述样本帧特征的第二范围内的相邻样本帧特征，计算第二注意力权重矩阵；基于所述第二注意力权重矩阵，对所述初始声学模型进行参数调整，以获取所述目标声学模型。4.根据权利要求3所述的方法，其特征在于，所述初始声学模型通过第一训练阶段以及第二训练阶段训练得到，所述第二训练阶段位于所述第一训练阶段之后，所述指定处理阶段为所述第二训练阶段。5.根据权利要求3或4述的方法，其特征在于，所述初始声学模型以及所述指定处理阶段通过下述方式选择：获取已训练的备选声学模型；所述备选声学模型中的注意力模块在训练过程中使用的相邻帧特征的范围为所述第三范围，不同备选声学模型经过的训练阶段不同；对于任一备选声学模型，从所述备选声学模型的各训练阶段开始，基于测试样本的帧特征以及所述帧特征的第二范围内的相邻样本帧特征，计算第三注意力权重矩阵，以获取优化后的所述备选声学模型；基于各优化后的所述备选声学模型的性能参数，从所述备选声学模型中选择初始声学模型，并确定所述初始声学模型对应的指定处理阶段。6.根据权利要求1至4任一所述的方法，其特征在于，所述基于所述帧特征以及所述帧特征的第一范围内的相邻帧特征，计算第一注意力权重矩阵之前，所述方法还包括：基于预设滑窗单元读取多个帧特征及各个所述帧特征的第一范围相邻帧特征；所述第一范围内的相邻帧特征以及所述帧特征的总数量为所述预设滑窗单元在可覆盖行中可覆盖的帧特征的整数倍，所述相邻帧特征以及所述帧特征位于同一行。7.根据权利要求1至4任一所述的方法，其特征在于，所述将待识别音频的帧特征作为目标声学模型的输入之前，所述方法还包括：将所述目标声学模型部署至预设的线上打分库；2CN113889078A权利要求书2/2页所述基于所述第一注意力权重矩阵，生成所述目标声学模型的输出，以确定所述待识别音频对应的文本，包括：通过所述线上打分库，基于所述第一注意力权重矩阵获取所述目标声学模型的输出；基于所述目标声学模型的输出，生成所述待识别音频对应的文