基于集成学习和卷积神经网络的环境声音识别方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112216287A(43)申请公布日2021.01.12(21)申请号202011020706.6G06N3/04(2006.01)(22)申请日2020.09.25(71)申请人江苏聆世科技有限公司地址211500江苏省南京市江北新区星火路17号创智大厦B座632室(72)发明人陈俊谢维王震宇郭宏成(74)专利代理机构南京鑫之航知识产权代理事务所(特殊普通合伙)32410代理人汪庆朋(51)Int.Cl.G10L17/26(2013.01)G10L25/45(2013.01)G10L25/30(2013.01)G10L25/18(2013.01)G10L17/04(2013.01)权利要求书1页说明书6页附图1页(54)发明名称基于集成学习和卷积神经网络的环境声音识别方法(57)摘要本发明公开了基于集成学习和卷积神经网络的环境声音识别方法，包括：S1、特征提取，对原始音频进行分帧和加窗，利用梅尔滤波器组得到声音的梅尔能量频谱，最终得到最后的梅尔能量频谱特征，作为数据集；S2、模型训练，采用k折交叉验证和使用mixup数据增强方法对于所述数据集进行模型训练，得到K个卷积神经网络模型；S3、声音测试，对待测声音样本通过卷积神经网络模型进行识别。本发明能够利用k折交叉验证训练k个模型并结合k个模型进行声音识别，大大增强了模型的泛化能力，有效缓解了过拟合的现象，此外针对数据量不大的情况，使用mixup数据增强对原始样本进行混合以进一步增强模型的泛化能力。CN112216287ACN112216287A权利要求书1/1页1.基于集成学习和卷积神经网络的环境声音识别方法，其特征在于，包括以下步骤：S1、特征提取，对原始音频进行分帧和加窗，对每一个短时分析窗，通过FFT得到对应的幅度频谱，取平方得到声音的能量频谱，然后利用梅尔滤波器组得到声音的梅尔能量频谱，接着对梅尔能量频谱取log非线性变换，得到最后的梅尔能量频谱特征，作为数据集；S2、模型训练，采用k折交叉验证，将所述数据集等比例划分成k份，以其中一份作为测试数据，其他的k-1份作为训练数据，接着对训练数据使用mixup数据增强进行混合后用于模型训练，保存在测试数据上表现最好的模型，重复k次以上操作得到K个卷积神经网络模型；S3、声音测试，对待测声音样本采用和步骤S1同样的特征提取步骤，得到待测声音的梅尔能量频谱特征作为测试样本，将测试样本输入到训练好的k个卷积神经网络模型中，将k个卷积神经网络模型的输出送入结合模块，结合模块将输出的众数作为集成模型的最终输出，将最终输出与测试集样本所对应的类别进行比对，计算出环境声音的识别率。2.如权利要求1所述的基于集成学习和卷积神经网络的环境声音识别方法，其特征在于：所述步骤S1对原始音频进行分帧和加窗具体为：将音频数据N个采样点集合成一个观测单位称为帧，让两相邻帧之间有一段重叠区域，将每一帧代入窗函数以消除各个帧两端造成的信号不连续性。3.如权利要求1所述的基于集成学习和卷积神经网络的环境声音识别方法，其特征在于：所述步骤S2每次操作都是从k个部分选取一份不同的数据部分作为测试数据，保证k个部分的数据都分别做过测试数据，剩下的k-1个当作训练数据。4.如权利要求1所述的基于集成学习和卷积神经网络的环境声音识别方法，其特征在于：所述步骤S2中mixup数据增强具体为：随机选取两个特征样本按比例混合以线性插值的方式来构建新的训练样本和标签，最终对标签的处理如下公式所示：(xi,yi)、(xj,yj)两个数据对是原始数据集中的训练样本对，即训练样本和其对应的标签，其中λ是一个服从B分布的参数,λ～Beta(α,α)。5.如权利要求1所述的基于集成学习和卷积神经网络的环境声音识别方法，其特征在于：所述步骤S2中进行模型训练时，卷积核和权重采用Glorot均匀初始化，偏置采用全0初始化。6.如权利要求1所述的基于集成学习和卷积神经网络的环境声音识别方法，其特征在于：所述步骤S2中进行模型训练时，采用Adam算法进行网络参数的更新，当网络迭代次数达到预设的迭代次数或验证集上的识别精度没有提高时，训练停止并保存训练好的卷积神经网络模型。2CN112216287A说明书1/6页基于集成学习和卷积神经网络的环境声音识别方法技术领域[0001]本发明涉及人工智能技术领域，尤其涉及基于集成学习和卷积神经网络的环境声音识别方法。背景技术[0002]在音频信息的研究中，环境声音识别是一个重要的研究领域，其在安全监控、医疗监护、智能家居和场景分析等领域有着很大的应用潜力。相比于语音识别，环境声音具有类噪、宽频谱等特性，使得环境声音的识别更具有挑战性。[0003]现有的基于卷积神经网络的环境声