一种混合双语语音识别方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114267333A(43)申请公布日2022.04.01(21)申请号202111509949.0G10L15/06(2013.01)(22)申请日2021.12.10G06F40/126(2020.01)G06F40/242(2020.01)(71)申请人国家计算机网络与信息安全管理中心广东分中心地址510000广东省广州市天河软件园建中路4号申请人讯飞智元信息科技有限公司(72)发明人周小敏应鸿晖刁则鸣胡鹏石易方磊张震周振昆耿夏楠方四安叶宇中(74)专利代理机构北京路浩知识产权代理有限公司11002代理人程琛(51)Int.Cl.G10L15/00(2013.01)权利要求书2页说明书7页附图1页(54)发明名称一种混合双语语音识别方法及系统(57)摘要本发明公开了一种混合双语语音识别方法及系统，所述方法包括如下步骤：数据处理步骤，包括：对一定量的目标双语音频数据和目标双语文本语料执行BPE共享词典制作、数据增广和特征提取操作，为后端网络训练提供有效数据输入；Encoder‑Decoder训练步骤，包括：对所述数据处理步骤获得的有效数据采用Transformer结构训练语音识别器。本发明涉及双语混合连续语音识别技术领域。根据输入的目标语种的单语语音数据、双语混合语音数据或者双语混杂语音数据，自动转写出语音的内容信息。CN114267333ACN114267333A权利要求书1/2页1.一种混合双语语音识别方法，其特征在于，包括如下步骤：数据处理步骤，包括：对一定量的目标双语音频数据和目标双语文本语料执行BPE共享词典制作、数据增广和特征提取操作，为后端网络训练提供有效数据输入；Encoder‑Decoder训练步骤，包括：对所述数据处理步骤获得的有效数据采用Transformer结构训练语音识别器。2.根据权利要求1所述的一种混合双语语音识别方法，其特征在于，所述BPE共享词典制作具体包括：对目标双语文本语料采用BPE字节对编码算法构建目标双语的共享分词词典。3.根据权利要求1所述的一种混合双语语音识别方法，其特征在于，所述数据增广具体包括：对目标双语文本语料采用实体翻译、插入、替换操作构建双语混合文本语料，然后利用合成器将所述双语混合文本语料与所述目标双语音频数据合成混合双语语音数据；对所述混合双语语音数据进行加噪、变速操作进行数据增广生成增广数据。4.根据权利要求1所述的一种混合双语语音识别方法，其特征在于，所述特征提取包括：将原始的目标双语音频数据和目标双语文本语料、合成的混合双语语音数据、加噪变速后的增广数据合并一起作为训练数据提取特征，生成输入音频特征序列X＝{x1,x2,…,xT}。5.根据权利要求1所述的一种混合双语语音识别方法，其特征在于，所述Encoder‑Decoder训练步骤具体包括：Encoder编码器编码步骤：通过Self‑Attention自注意力机制操作、LayerNorm求均值方差操作和FeedForward正反馈操作把输入音频特征序列X＝{x1,x2,…,xT}转为高层的特征表示序列Decoder解码器解码步骤：基于上一个输出yu‑1、上一个隐藏状态和上一个上下文向量cu‑1，计算当前的隐藏状态然后通过Softmax逻辑回归层计算输出符号基于之前预测标签和输入特征序列的概率分布Encoder编码器和Decoder解码器中的Attention注意力机制层都有Residual残差连接，直接将前一层的信息传递到下一层；Encoder编码器和Decoder解码器中的Self‑Attention自注意力机制层都是计算前一层所有向量的注意力权重，输出上下文向量，进而建立输入序列与输出序列之间的对齐关系；不同于Encoder编码器，Decoder解码器还包含Encoder‑DecoderAttention编码‑解码注意力机制层，其输入信息包含将前一层的输出和Encoder解码器的输出结果。6.一种混合双语语音识别系统，其特征在于，包括：数据处理模块，具体执行：对一定量的目标双语音频数据和目标双语文本语料执行BPE共享词典制作、数据增广和特征提取操作，为后端网络训练提供有效数据输入；Encoder‑Decoder训练模块，具体执行：对所述数据处理步骤获得的有效数据采用Transformer结构训练语音识别器。7.根据权利要求6所述的一种混合双语语音识别系统，其特征在于，所述BPE共享词典制作具体包括：对目标双语文本语料采用BPE字节对编码算法构建目标双语的共享分词词典。2CN114267333A权利要求书2/2页8.根据权利要求6所述的一种混合双语语音识别系统，其特征在于，所述数据增广具体包括：对目标双语文本语料采用实体翻译、