基于卷积神经网络的光学乐谱识别方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110598581A(43)申请公布日2019.12.20(21)申请号201910787063.9G06T7/70(2017.01)(22)申请日2019.08.25(71)申请人南京理工大学地址210094江苏省南京市玄武区孝陵卫200号(72)发明人马学健董瓒郭玲(74)专利代理机构南京理工大学专利中心32203代理人陈鹏(51)Int.Cl.G06K9/00(2006.01)G06K9/34(2006.01)G06K9/46(2006.01)G06N3/04(2006.01)G06T7/00(2017.01)权利要求书1页说明书4页附图3页(54)发明名称基于卷积神经网络的光学乐谱识别方法(57)摘要本发明公开了一种基于卷积神经网络的光学乐谱识别方法，包括：对乐谱图像进行谱线检测；根据谱线的位置进行谱线删除；音符分割，得到一系列音符图像；将音符图像输入到已经训练好的神经网络中完成识别。本发明采用基于图论的谱线检测算法进行谱线检测，不受乐谱图像的质量、谱线扭曲形变等影响，可以准确检测出谱线的位置；采用基于线轨迹高度+局部游程直方图算法进行谱线删除，可以有效避免过删除现象；采用基于层次分级+模板匹配的分割算法，可以有效进行音符分割且保证音符的完整性；利用卷积神经网络对分割之后音符进行识别，结果具有较好的识别精度和识别速率。CN110598581ACN110598581A权利要求书1/1页1.一种基于卷积神经网络的光学乐谱识别方法，其特征在于，包括以下步骤：步骤1、利用图论的稳定路径方法进行谱线检测，获得谱线的位置，即一系列像素点坐标；步骤2、根据谱线的位置，利用线轨迹高度+局部游程直方图算法进行谱线删除；步骤3、利用层次分解+模板匹配方法对图像进行分割，获得一系列独立的音符；步骤4、将分割出来的音符输入到一个已经训练好的神经网络，得到音符类型；如果识别音符中含有符头，则根据谱线位置判定其符头的音高；步骤5、对步骤4中识别的音符类型进行乐谱语义重构，并将结果转化为通用的数字音乐格式。2.根据权利要求1所述的基于卷积神经网络的光学乐谱识别方法，其特征在于，步骤1谱线检测的具体方法为：步骤1-1、将乐谱图转化为图论中的单向有权图；步骤1-2、根据图论中的最短路径搜索算法，迭代寻找出所有的稳定路径；步骤1-3、对所得路径进行后处理，包括处理交叉路径、对所得路径进行修剪和平滑。3.根据权利要求2所述的基于卷积神经网络的光学乐谱识别方法，其特征在于，有权图的构造规则：像素点为节点，即用像素点的图像坐标进行表示，相邻像素之间存在一条边，且不同像素点之间边的权重不一样。4.根据权利要求2所述的基于卷积神经网络的光学乐谱识别方法，其特征在于，步骤1-2具体为：寻找稳定路径、验证路径的有效性、把有效路径保存到路径队列中并从乐谱图像中擦除这条路径，更新权重图。5.根据权利要求1所述的基于卷积神经网络的光学乐谱识别方法，其特征在于，步骤2谱线删除的具体方法为：步骤2-1、根据步骤1求得多个稳定路径，分别用数组记录每条稳定路径的所经过像素点在当前列下的黑色垂直游程长度；如果黑色游程长度大于阈值，则当前列的黑色像素不需要删除，否则需要进一步判断。步骤2-2、针对上一步骤中需要进一步判断的情况，采用局部游程直方图分析方法，主要方法为：构建当前点和相邻位置局部黑色垂直游程直方图，计算其统计值，利用直方图的标准离差率与直方图的极差乘积大小去判定路径中的像素点是否要删除；如果标准离差率小于设定阈值，删除当前列的黑色像素，否则保留当前列黑色像素。6.根据权利要求5所述的基于卷积神经网络的光学乐谱识别方法，其特征在于，统计值包括标准差和均值。7.根据权利要求1所述的基于卷积神经网络的光学乐谱识别方法，其特征在于，谱线检测前对乐谱图像预处理，具体为：对所得乐谱图像进行滤波和阈值处理：使用3*3的高斯低通滤波器进行平滑滤波；计算乐谱图像的均值average和标准差standardDeviation，阈值选用average+2*standardDeviation进行二值操作，生成二值图像；对图像进行矫正处理：使用霍夫直线检测+角度插值的方法，利用图像原点与谱线的关系，得出图像的旋转角度，然后利用旋转矩阵变换是谱线保证相对的水平；通过二值图像游程编码压缩技术，求取谱线宽度和谱线间距。2CN110598581A说明书1/4页基于卷积神经网络的光学乐谱识别方法技术领域[0001]本发明属于图像视觉领域，具体涉及一种基于卷积神经网络的光学乐谱识别方法。背景技术[0002]纸质乐谱是表达和描述音乐作品的主要载体，但是纸质乐谱的保存需要占用大量的存储空间，并且在交流的时候必须以十分不便的实物传递的方式，