基于轻量化Transformer网络的语音识别系统及方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN116013309A(43)申请公布日2023.04.25(21)申请号202310065728.1(22)申请日2023.01.14(71)申请人西南大学地址400715重庆市北碚区天生路2号(72)发明人周跃肖和胡小方洪浩钦段书凯(74)专利代理机构重庆敏创专利代理事务所(普通合伙)50253专利代理师陈千(51)Int.Cl.G10L15/26(2006.01)G10L15/16(2006.01)G10L15/02(2006.01)G10L15/06(2013.01)权利要求书2页说明书10页附图12页(54)发明名称基于轻量化Transformer网络的语音识别系统及方法(57)摘要本发明涉及人工智能领域中的语音识别技术，具体公开了一种基于轻量化Transformer网络的语音识别系统及方法，系统包括预处理模块、第一前向传播模块、多头注意力模块、卷积模块、第二前向传播模块和全连接层模块，该系统通过模块化硬件设计且将部分参数利用忆阻交叉阵列予以实现，不仅具有较轻的网络模型，而且在不同的硬件规模下具有良好的识别精度，能有效地减少电路的能耗和面积开销，可以在功耗低、结构轻的边缘设备上实现语音识别任务，并具有较好的稳定性和抗噪性。CN116013309ACN116013309A权利要求书1/2页1.一种基于轻量化Transformer网络的语音识别系统，其特征在于，包括预处理模块、第一前向传播模块、多头注意力模块、卷积模块、第二前向传播模块和全连接层模块，其中：所述预处理模块用于采集语音数据并提取语音数据中的特征参数，形成训练样本、验证样本和测试样本；所述第一前向传播模块包括第一层正则化电路、第一线性化电路、第一Swish激活函数电路、第二线性化电路和第一加法电路，所述第一层正则化电路用于对所述预处理模块提取的每一项特征参数进行正则化处理，正则化处理后的数据依次经过第一线性化电路、第一Swish激活函数电路和第二线性化电路处理后，由所述第一加法电路实现残差连接并传递到所述多头注意力模块中；所述第一前向传播模块中的至少一部分参数由忆阻交叉阵列电路实现；所述多头注意力模块包括第二层正则化电路、查询矩阵电路、键矩阵电路、值矩阵电路、第一存储模块、第一乘累加电路、SoftMax激活函数电路、第二乘累加电路、第二加法电路和第二存储模块；所述第二层正则化电路对所述第一前向传播模块输出的每一项信号进行正则化处理，所述查询矩阵电路、所述键矩阵电路和所述值矩阵电路由忆阻交叉阵列电路实现，用于计算输入信息特征的单头注意力，所述第一存储阵列用于实现多个单头注意力的缓存，并在控制信号的驱动下选择性输出至第一乘累加电路中，得到查询矩阵每一行输出电压和键矩阵每一列输出电压的乘积，所述第一乘累加电路每一项输出经过SoftMax激活函数电路处理后再利用所述第二乘累加电路实现与所述值矩阵每一列输出电压进行乘积运算，最后利用第二加法电路进行残差连接后将计算结果存储在第二存储模块中；所述卷积模块包括第三层正则化电路、第一点向卷积模块、门控线性单元、深度卷积电路和第二点向卷积模块；所述第二前向传播模块的电路结构与所述第一前向传播模块的电路结构相通，用于对所述卷积模块的输出进行前向传播，最后经过所述全连接层模块得出最终输出；通过训练样本对所述第一前向传播模块、所述多头注意力模块、所述卷积模块、所述第二前向传播模块和所述全连接层模块中的各项参数进行训练，利用验证样本对训练后的系统电路进行验证，最后训练好的系统电路作为语音识别系统进行测试样本的语音识别。2.根据权利要求1所述的基于轻量化Transformer网络的语音识别系统，其特征在于，所述预处理模块利用梅尔‑频谱系数将获取的语音数据进行预处理，并在每一帧语音中提取20个特征。3.根据权利要求1或2所述的基于轻量化Transformer网络的语音识别系统，其特征在于，在所述第一前向传播模块中的第一层正则化电路的每一路输入端上设置有信号选择开关，用于实现每一路信号特征的选择性输入。4.根据权利要求1所述的基于轻量化Transformer网络的语音识别系统，其特征在于，所述第一层正则化电路按照对输入的每一路信号特征进行正则化处理，其中Vx表示输入的信号特征，Rf表示第一层正则化电路中预设反馈电阻，M1为第一权重系数矩阵，Vbias1为第一偏置电压矩阵，且所述第一权重系数矩阵和所述第一偏置电压矩阵由第一忆阻交叉阵列电路实现。2CN116013309A权利要求书2/2页5.根据权利要求4所述的基于轻量化Transformer网络的语音识别系统，其特征在于，所述第一Swish激活函数电路用于实现：的信号转化，其中Vd为第一Swish激活函数电路的输入信号，Vsh为第