一种基于卷积神经网络的道路声信号分类方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112560822A(43)申请公布日2021.03.26(21)申请号202110199215.0(22)申请日2021.02.23(71)申请人江苏聆世科技有限公司地址210032江苏省南京市江北新区星火路17号创智大厦B座632室(72)发明人谢维陈俊郭宏成刘世宇(74)专利代理机构南京鑫之航知识产权代理事务所(特殊普通合伙)32410代理人姚兰兰(51)Int.Cl.G06K9/00(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书5页附图2页(54)发明名称一种基于卷积神经网络的道路声信号分类方法(57)摘要本发明公开了一种基于卷积神经网络的道路声信号分类方法，步骤1、特征提取，步骤2、数据增强，步骤3、模型训练，步骤4、测试阶段，把待测声音样本使用步骤1的特征提取方法，得到待测声音梅尔能量频谱特征集，将待测声音梅尔能量频谱特征集中的测试样本输入到步骤3中训练好的卷积神经网络模型内，如果识别结果为机动车鸣笛声或非机动车鸣笛声，则通过声源定位和异常声发生时那一帧的图像生成声云图，并将声云图送入YOLOv3模型中计算出离声源中心最近的车辆是机动车还是非机动车。CN112560822ACN112560822A权利要求书1/2页1.一种基于卷积神经网络的道路声信号分类方法，其特征在于：包括以下步骤：步骤1、特征提取：从原始音频中提取特征数据，得到梅尔能量频谱特征数据集：步骤2、数据增强：将梅尔能量频谱特征数据集按8:2的比例分为训练集和测试集；对训练集使用Mixup数据增强方法以提升模型的泛化能力；所述Mixup数据增强方法的方式：在训练集数据中按一定比例随机选取两个特征样本并用权重混合以线性插值的方式，通过公式对训练样本和标签处理，得到新训练样本特征值和标签，所述公式为：其中两个数据对是原始数据集中的训练样本对，是一个服从B分布的参数,；步骤3、模型训练：将步骤2得到的新训练样本特征值和标签送入卷积神经网络模型中进行监督训练，把表现最好的一个模型保存在验证集，训练停止把结果保存到训练好的卷积神经网络模型；步骤4、测试阶段：把待测声音样本使用步骤1的特征提取方法，得到待测声音梅尔能量频谱特征集，将待测声音的梅尔能量频谱特征输入到步骤3中训练好的卷积神经网络模型内，如果识别结果为机动车鸣笛声或非机动车鸣笛声，则通过声源定位和异常声发生时那一帧的图像生成声云图，并将声云图送入YOLOv3模型中进行目标检测，计算出离声源中心最近的车辆是机动车还是非机动车，如果YOLOv3得到的检测结果是机动车则最终该条样本被划分为机动车类别，如果YOLOv3得到的检测结果是非机动车则最终该条样本被划分为非机动车类别。2.根据权利要求1所述的一种基于卷积神经网络的道路声信号分类方法，其特征在于：所述步骤1中特征提取的方法为：S1、从原始音频中提取N个采样点集合成一个帧，并把每一帧代入窗函数；S2、上述S1中的每一帧带入窗函数后得到短时分析窗，通过FFT得到对应的幅度频谱，取平方得到声音的能量频谱；S3、将能量频谱通过梅尔滤波器组得到梅尔能量频谱；S4、再把梅尔能量频谱取log非线性变换，得到梅尔能量频谱特征数据集。3.根据权利要求1所述的一种基于卷积神经网络的道路声信号分类方法，其特征在于：步骤4中，所述声源定位采用波束形成方法。4.根据权利要求3所述的一种基于卷积神经网络的道路声信号分类方法，其特征在于：所述波束形成方法中将阵列中各个传感器所采集到的信号进行滤波、加权叠加后形成波束，扫描整个接收空间，对一个平面的声压分布进行成像可视化。5.根据权利要求1所述的一种基于卷积神经网络的道路声信号分类方法，其特征在于：所述步骤3中，所述卷积神经网络模型中进行监督训练时，卷积核和权重采用均匀初始化，2CN112560822A权利要求书2/2页偏置采用全0初始化，训练时，采用Adam算法进行网络参数的更新，当网络迭代次数达到预设的迭代次数或验证集上的识别精度长时间没有提高时，训练停止把结果保存到训练好的卷积神经网络模型。6.根据权利要求2所述的一种基于卷积神经网络的道路声信号分类方法，其特征在于：所述窗函数为Hann窗。7.根据权利要求1所述的一种基于卷积神经网络的道路声信号分类方法，其特征在于：所述步骤2中训练样本对为训练样本和其对应的标签。8.根据权利要求1所述的一种基于卷积神经网络的道路声信号分类方法，其特征在于：所述卷积神经网络的包括：六个卷积层、四个最大池化层、一个全局平均池化层和三个全连接层。9.根据权利要求8所述的一种基于卷积神经网络的道路声信号分类方法，其特征在于：所述六个卷积层中前两个卷积层中每个卷积层后都