基于深度卷积神经网络DCNN和CTC算法的音准评估方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110364184A(43)申请公布日2019.10.22(21)申请号201910633546.3G06N3/08(2006.01)(22)申请日2019.07.15(71)申请人西安音乐学院地址710061陕西省西安市雁塔区长安中路108号申请人陕西和生科技有限公司(72)发明人冯勇王薇许鹏飞康金龙(74)专利代理机构西安创知专利事务所61213代理人谭文琰(51)Int.Cl.G10L25/60(2013.01)G10L25/30(2013.01)G10L25/03(2013.01)G10L25/24(2013.01)G06N3/04(2006.01)权利要求书4页说明书10页附图2页(54)发明名称基于深度卷积神经网络DCNN和CTC算法的音准评估方法(57)摘要本发明公开了一种基于深度卷积神经网络DCNN和CTC算法的音准评估方法，包括步骤：一、训练深度学习网络模型；二、测试音频数据中音符的识别；三、测试音频数据中音高的识别；四、测试音频数据中节奏的识别。本发明利用深度学习方法对测试旋律中的音符进行识别与分割，然后针对分割后的每一个音符提取其音高和时长的特征信息，并与标准音频进行对比和分析，以给出评价结果，以达到音乐教学的目的，同时给出形象的可视化标记，以实现能够为音乐基础教学的有效开展提供较为可靠全面的音准评估解决方案，评估音频质量。CN110364184ACN110364184A权利要求书1/4页1.基于深度卷积神经网络DCNN和CTC算法的音准评估方法，其特征在于，该方法包括以下步骤：步骤一、训练深度学习网络模型，过程如下：步骤101、利用音频录制设备采集专业歌唱家在规定时间内的多组人声音频数据，并传输存储至计算机，在计算机中对每组人声音频数据按照人名和音乐片段编号进行旋律命名，并对每组人声音频数据配备一个MIDI文件，多组人声音频数据构成标准音频数据集；步骤102、计算机对标准音频数据集中每一组人声音频数据进行特征提取，每组人声音频数据的特征提取方法均相同，任一组人声音频数据的特征提取过程为：步骤1021、计算机对人声音频数据进行分帧，每帧音频信号的帧长为10ms～30ms，连续相邻的两帧音频信号相重叠；步骤1022、根据公式计算机对该组人声音频数据中音频信号分帧序列Sn进行加窗处理，得到音频信号加窗分帧序列S'n，其中，N为每帧音频信号的采样点数，n为每帧音频信号的采样点的编号且n＝0,2，…，N-1；步骤1023、根据公式计算机对加窗音频信号进行快速傅里叶变化，得到加窗音频信号的快速傅里叶变化信号X(k)；根据公式magX(k)＝abs(X(k))，计算加窗音频信号的快速傅里叶变化信号X(k)的模值magX(k)，其中，abs(·)为求模函数；步骤1024、根据公式X'(k)＝log(1+magX(k))，计算机对加窗音频信号的快速傅里叶变化信号X(k)的模值magX(k)进行归一化处理，得到magX(k)的归一化结果X'(k)；步骤1025、利用magX(k)的归一化结果X'(k)生成的该组人声音频数据特征语谱图；步骤103、计算机利用深度卷积神经网络DCNN和CTC语音识别算法构建深度学习网络模型，深度学习网络模型由输入层I1、卷积层C1、卷积层C2、池化层P1、卷积层C3、卷积层C4、池化层P2、变换层ReShape、密集连接层Dense和输出层O1构成，其中，卷积层C1、卷积层C2、卷积层C3和卷积层C4均采用3×3的卷积核，池化层P1采用2×2的池化窗口，池化层P2采用1×1的池化窗口；每组人声音频数据特征语谱图作为深度学习网络模型的输入层I1，深度学习网络模型的输出层O1输出的为每组人声音频的音符；计算机利用标准音频数据集，训练深度学习网络模型，直至深度学习网络模型的输出层O1输出的音符正确率大于80％，得到训练好的深度学习网络模型；步骤二、测试音频数据中音符的识别：测试人员在计算机中选择试唱的标准旋律曲目，该标准旋律曲目对应的MIDI文件生成五线谱，训练好的深度学习网络模型对标准旋律曲目对应的人声音频数据进行音符识别，并通过计算机显示；同时，测试人员利用音频录制设备采集测试人员的测试音频数据，并传输存储至计算机中，计算机利用训练好的深度学习网络模型对测试音频数据进行音符识别；计算机将识别的测试音频数据的音符与标准旋律曲目对应的人声音频数据的音符进行一一匹配，对匹配错误的音符进行标记；2CN110364184A权利要求书2/4页步骤三、测试音频数据中音高的识别：计算机对标准旋律曲目对应的人声音频数据的音符进行分割，同时对识别的测试音频数据的音符进行分割，获取多组相对应音符对应的音频数据，对每组音符对应的音频数据的音高