基于端对端transformer模型的语音识别方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115862605A(43)申请公布日2023.03.28(21)申请号202211482035.4(22)申请日2022.11.24(71)申请人佛山科学技术学院地址528225广东省佛山市南海区狮山镇广云路33号(72)发明人高国智段志奎于昕梅李俊华魏光勇王虎伟严世泉李伙生龙泳希(74)专利代理机构深圳市创富知识产权代理有限公司44367专利代理师冯炜国(51)Int.Cl.G10L15/06(2013.01)G10L15/16(2006.01)G10L21/0208(2013.01)权利要求书3页说明书5页附图4页(54)发明名称基于端对端transformer模型的语音识别方法(57)摘要本发明公开了基于端对端transformer模型的语音识别方法，该方法包括：对原始语音信息进行预处理，得到音频序列信息；结合噪声修剪技术，构建transformer语音识别网络模型；基于transformer语音识别网络模型对音频序列信息进行识别处理，得到语音识别结果。通过使用本发明，能够通过获取语音数据的全局～局部信息和高层～低层特征信息进而提高模型的语音识别准确度。本发明作为基于端对端transformer模型的语音识别方法，可广泛应用于深度学习语音识别技术领域。CN115862605ACN115862605A权利要求书1/3页1.基于端对端transformer模型的语音识别方法，其特征在于，包括以下步骤：对原始语音信息进行预处理，得到音频序列信息；结合噪声修剪技术，构建transformer语音识别网络模型；基于transformer语音识别网络模型对音频序列信息进行识别处理，得到语音识别结果。2.根据权利要求1所述基于端对端transformer模型的语音识别方法，其特征在于，所述对原始语音信息进行预处理，得到音频序列信息这一步骤，其具体包括：获取原始语音信息；对原始语音信息进行Fbank特征提取处理，得到语音信息的词向量；对语音信息的词向量进行加入位置编码信息，得到音频序列信息。3.根据权利要求2所述基于端对端transformer模型的语音识别方法，其特征在于，所述基于transformer语音识别网络模型对音频序列信息进行识别处理，得到语音识别结果这一步骤，其具体包括：将音频序列信息输入至transformer语音识别网络模型，所述transformer语音识别网络模型包括编码模块、噪声修剪模块、子层融合解码模块和信息提取模块；基于编码模块，对音频序列信息进行编码处理，得到编码后的音频序列信息；基于噪声修剪模块，对编码后的音频序列信息进行噪声阈值化裁剪处理，得到抑制噪声后的音频序列信息；基于子层融合解码模块，对抑制噪声后的音频序列信息进行解码处理，得到解码后的音频序列信息；基于信息提取模块，对解码后的音频序列信息进行特征提取处理，得到具有高低层特征的局部音频序列信息；将解码后的音频序列信息与具有高低层特征的局部音频序列信息进行结合，得到语音识别结果。4.根据权利要求3所述基于端对端transformer模型的语音识别方法，其特征在于，所述基于编码模块，对音频序列信息进行编码处理，得到编码后的音频序列信息这一步骤，其具体包括：将音频序列信息输入至编码模块，所述编码模块包括多头自注意力子层、前馈神经网络子层；基于多头自注意力子层，对音频序列信息进行自注意力计算，得到音频序列信息的自注意力分数；基于前馈神经网络子层，对音频序列信息的自注意力分数进行线性映射处理，得到编码后的音频序列信息。5.根据权利要求4所述基于端对端transformer模型的语音识别方法，其特征在于，所述前馈神经网络子层的线性映射处理的计算公式如下所示：FFN(x)＝max(0,xW1+b1)W2+b2上式中，W1、W2表示前馈神经网络子层中的线性函数的参数，b1、b2表示偏置单元，FFN(·)表示前馈神经网络子层，x表示经过多头注意力后的特征。6.根据权利要求5所述基于端对端transformer模型的语音识别方法，其特征在于，所2CN115862605A权利要求书2/3页述基于噪声修剪模块，对编码后的音频序列信息进行噪声阈值化裁剪处理，得到抑制噪声后的音频序列信息这一步骤，其具体包括：对编码后的音频序列信息进行噪声选定处理，得到音频序列信息的向量噪声特征；对音频序列信息的向量噪声特征进行噪声归零化处理，得到抑制噪声后的音频序列信息。7.根据权利要求6所述基于端对端transformer模型的语音识别方法，其特征在于，所述transformer语音识别网络模型具体包括M个子层融合解码模块，所述基于子层融合解码模块，对抑制噪声后的音频序列信息进行解码处理，得到解码后的音频序列信息这一步骤，其