一种乐谱图像识别方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN106446952A(43)申请公布日2017.02.22(21)申请号201610859746.7(22)申请日2016.09.28(71)申请人北京邮电大学地址100876北京市海淀区西土城路10号(72)发明人宋晴杨录王智慧杨李怡贾文赫刘小欧辛学仕陈海鹏杨敏姜佳男(74)专利代理机构北京柏杉松知识产权代理事务所(普通合伙)11413代理人马敬项京(51)Int.Cl.G06K9/62(2006.01)G06K9/46(2006.01)G06K9/40(2006.01)G06N3/08(2006.01)权利要求书2页说明书7页附图4页(54)发明名称一种乐谱图像识别方法及装置(57)摘要本发明公开的乐谱图像识别方法及装置，包括，获得待处理的五线谱图像；对待处理的五线谱图像采用边缘检测方法描绘出图像的边缘信息，再通过直线检测方法检测出五线位置坐标；采用预设的音符分类器，对待处理的五线谱图像进行音符定位分割，得到每个完整音符在图像中的位置；采用预设的卷积神经网络对分割获得的音符符头进行识别，判断是实心符头还是空心符头，并得到符头的位置；根据所述得到的五线位置坐标、每个完整音符的相对位置、是实心符头还是空心符头及符头的位置，识别出每个完整音符。本发明乐谱图像识别方法及装置，相较于传统计算机视觉方法，识别精度高且识别速度快。CN106446952ACN106446952A权利要求书1/2页1.一种乐谱图像识别方法，其特征在于，包括：获得待处理的五线谱图像；对待处理的五线谱图像采用边缘检测方法描绘出图像的边缘信息，再通过直线检测方法检测出五线位置坐标；采用预设的音符分类器，对待处理的五线谱图像进行音符定位分割，得到每个完整音符在图像中的位置；采用预设的卷积神经网络对分割获得的音符符头进行识别，判断是实心符头还是空心符头，并得到符头的位置；根据所述得到的五线位置坐标、每个完整音符的相对位置、是实心符头还是空心符头及符头的位置，识别出每个完整音符。2.根据权利要求1所述的乐谱图像识别方法，其特征在于，所述的音符分类器的训练过程，包括：建立正样本数据集和负样本数据集，数据集中包括定位框的位置数据及定位框内的五线谱图像的图像数据，正样本数据集为包括完整音符的图像数据，负样本数据集为包括除过完整音符之外的其余乐谱可能出现的图像数据；提取正样本数据集和负样本数据集中每个样本的通道特征，训练音符分类器。3.根据权利要求2所述的乐谱图像识别方法，其特征在于，所述的每个样本的通道特征，包括，灰度和颜色、线性滤波、非线性变换、逐点变换、梯度直方图。4.根据权利要求2或3所述的乐谱图像识别方法，其特征在于，所述的对待处理的五线谱图像进行音符定位分割，包括，在待处理的五线谱图像上随机选取若干个候选定位框，逐个扫描定位框，对每个定位框内的图像提取所述的通道特征，将提取的通道特征输入到音符分类器中，判断定位框内的图像为正样本或者为负样本，正样本判定为乐谱中的完整音符，负样本判定为乐谱背景舍弃，从而得到待处理的五线谱图像中的完整音符，对照音符分类器中定位框的位置数据得到每个完整音符在图像中的位置。5.根据权利要求1所述的乐谱图像识别方法，其特征在于，所述的卷积神经网络的训练过程，包括，建立音符符头数据集，包括实心符头、空心符头和背景三种分类数据；构建卷积神经网络，包括2个卷积层，2个下采样层和1个全连接层；将音符符头数据集中的符头图像数据输入到卷积神经网络中，完成训练。6.根据权利要求5所述的乐谱图像识别方法，其特征在于，所述的采用卷积神经网络对分割获得的音符符头进行识别，包括，将音符定位分割得到的完整音符，输入到卷积神经网络中，通过和音符符头数据集里的数据对比，得出是实心符头、空心符头或者背景，舍弃背景，同时对照音符符头数据集里的符头的位置数据，确定完整音符中符头的位置。7.根据权利要求1所述的乐谱图像识别方法，其特征在于，所述的待处理的五线谱图像，具体为：对五线谱图像进行去噪、对比度增强、灰度化、减少噪声或光照不均匀的处理，得到的二值图像。8.根据权利要求1所述的乐谱图像识别方法，其特征在于，所述的边缘检测方法为单边2CN106446952A权利要求书2/2页边缘检测方法，包括：a)选用Sobel算子，分别求出水平方向上和垂直方向上的梯度值：水平梯度：sx＝(a2+2a3+a4)-(a0+2a7+a6)垂直梯度：sy＝(a0+2a1+a2)-(a6+2a5+a4)幅值：Sobel模板：其中，a0-a7代表8个邻域像素点；b)采用非极大值抑制对水平方向上和垂直方向上的梯度值进行抑制，即仅保留每个方向梯度直线上的最大值的点，其余点的值均设为0；c)采用自适应阈值方法，得到每个区域中待设