一种离线嵌入式异常声音检测系统和方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111370027A(43)申请公布日2020.07.03(21)申请号202010135741.6G06N3/08(2006.01)(22)申请日2020.03.02(71)申请人乐鑫信息科技（上海）股份有限公司地址201203上海市浦东新区中国（上海）自由贸易试验区碧波路690号2号楼204室(72)发明人王旺旺(74)专利代理机构上海沪慧律师事务所31311代理人朱九皋(51)Int.Cl.G10L25/51(2013.01)G10L25/30(2013.01)G10L25/18(2013.01)G06K9/62(2006.01)G06N3/04(2006.01)权利要求书2页说明书4页附图2页(54)发明名称一种离线嵌入式异常声音检测系统和方法(57)摘要本发明提供了一种离线嵌入式异常声音检测系统，包含声音采集模块、声音音频特征提取模块和神经网络模块。声音音频特征提取模块使用快速傅里叶变换，在频域对由声音采集模块利用数字麦克风得到的采样数据进行处理后，输入到神经网络模块完成异常分类。神经网络模块包含CNN特征提取层、LSTM长短期记忆层、全连接及分类层和触发判决层。其中CNN特征提取层的网络层数动态可调，全连接及分类层的网络结构动态可变，触发判决层用于消除神经网络产生的泛化误差。本发明还包含一种利用离线嵌入式异常声音检测系统进行异常检测的方法。本发明工作于离线环境，对网络依赖少，性能强工作可靠，能够适应变化的异常诊断工作环境。CN111370027ACN111370027A权利要求书1/2页1.一种离线嵌入式异常声音检测系统，其特征在于，包含嵌入端系统；所述嵌入端系统包含声音采集模块、声音音频特征提取模块和神经网络模块；所述声音采集模块将待测音源发出的声音转换成音频数字信号，然后传输给所述声音音频特征提取模块；所述声音音频特征提取模块在频域上对所述音频数字信号进行处理，得到音频频率采样，作为所述神经网络模块的输入；所述神经网络模块由CNN特征提取层和全连接及分类层组成；所述CNN特征提取层的网络层数动态可调；所述CNN特征提取层对所述音频频率采样进行特征提取后，由所述全连接及分类层从异常种类中选出一个作为异常检测结果，完成异常分类；所述神经网络模块的工作参数由异常声音检测模型决定；所述异常种类的数量由所述异常声音检测模型决定；所述全连接及分类层的网络结构根据所述异常种类的数量决定，动态可变，输出的所述异常种类包含N种异常、未识别异常和无异常。2.根据权利要求1所述的离线嵌入式异常声音检测系统，其特征在于，所述神经网络模块还包含LSTM长短期记忆层；所述LSTM长短期记忆层处理所述CNN特征提取层的输出，完成时间维度信息的筛选，然后输出到所述全连接及分类层。3.根据权利要求2所述的离线嵌入式异常声音检测系统，其特征在于，所述神经网络模块还包含触发判决层；所述触发判决层对所述全连接及分类层的输出做最后分类，排除泛化误差。4.根据权利要求3所述的离线嵌入式异常声音检测系统，其特征在于，所述触发判决层的工作流程是：步骤101、得到所述全连接及分类层的所述异常声音检测结果；如果所述异常声音检测结果是所述N种异常中的一种或者所述未识别异常时，进入步骤102，否则进入步骤105；步骤102、计数器递增，进入步骤103；步骤103、如果在L帧内，所述异常声音检测结果为同一异常的次数大于等于阈值，进入步骤104，否则跳转到步骤105；步骤104、所述计数器清零，上报有异常，完成；步骤105、所述计数器清零，无异常，不上报，完成。5.根据权利要求1所述的离线嵌入式异常声音检测系统，其特征在于，所述神经网络模块的输入，是将当前帧以及所述当前帧之前的连续N帧的所述音频频率采样拼接后，形成的采样信息。6.根据权利要求1所述的离线嵌入式异常声音检测系统，其特征在于，所述声音采集模块采用数字麦克风作为采集器件。7.根据权利要求6所述的离线嵌入式异常声音检测系统，其特征在于，所述数字麦克风的音频采样频率为48KHz。8.根据权利要求1所述的离线嵌入式异常声音检测系统，其特征在于，所述声音音频特征提取模块采用快速傅里叶变换提取所述音频频率采样。9.根据权利要求8所述的离线嵌入式异常声音检测系统，其特征在于，所述快速傅里叶变换为512点快速傅里叶变换。10.一种利用如权利要求3所述的离线嵌入式异常声音检测系统进行异常检测的方法，其特征在于，包含步骤：2CN111370027A权利要求书2/2页步骤201、使用所述声音采集模块收集所述待测音源发出的声音，得到所述音频数字信号；步骤202、使用所述声音音频特征提取模块在频域上对所述音频数字信号进行处理，得到所述音频数字信号的音频频率