一种乐谱识别方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112133264A(43)申请公布日2020.12.25(21)申请号202010899308.X(22)申请日2020.08.31(71)申请人广东工业大学地址510006广东省广州市番禺区广州大学城外环西路100号(72)发明人陈超艺陈新度吴磊李泽辉(74)专利代理机构广州专理知识产权代理事务所(普通合伙)44493代理人张凤(51)Int.Cl.G10G3/04(2006.01)G06N3/04(2006.01)G06K9/34(2006.01)G10H1/00(2006.01)权利要求书2页说明书6页附图5页(54)发明名称一种乐谱识别方法及装置(57)摘要本发明公开了一种乐谱识别方法及装置，所述方法包括：将乐谱图像二值化后向y轴投影堆叠，生成乐谱特征图像；根据乐谱特征图像，获取乐谱图像中的时值序列；根据乐谱特征图像，获取乐谱图像中的时值序列中各时值对应的音符数值；根据所述时值序列及各时值对应音符数值，生成机器可视化乐谱图像。所述装置使用了所述方法。本发明实现了机器对乐谱的自动识别，免除了人为录入乐谱数据的复杂操作，节省了时间和人力；同时保障了乐谱图像识别的准确率，提高了识别可靠性。CN112133264ACN112133264A权利要求书1/2页1.一种乐谱识别方法，其特征在于，包括：将乐谱图像二值化后向y轴投影堆叠，生成乐谱特征图像；根据乐谱特征图像，获取乐谱图像中的时值序列；根据乐谱特征图像，获取乐谱图像中的时值序列中各时值对应的音符数值；根据所述时值序列及各时值对应音符数值，生成机器可视化乐谱图像。2.如权利要求1所述的乐谱识别方法，其特征在于，在所述对乐谱图像二值化后向y轴投影堆叠，生成乐谱特征图像的步骤之后，还包括：确定所述乐谱特征图像中的第一特征线性图像；根据所述第一特征线性图像中各线段的粗细、x轴长度和y轴间隔，确定所述乐谱图像中的时值图像区域和音符图像区域。3.如权利要求2所述的乐谱识别方法，其特征在于，所述根据乐谱特征图像，获取乐谱图像中的时值序列的步骤，包括：将所述时值图像区域向x轴投影堆叠，确定第二特征线性图像；根据第二特征线性图像的x轴坐标，对时值图像区域进行x向分割，获取单时值图像；将各单时值图像向y轴投影，确定第三特征线性图像；根据第三特征线性图像，确定各单时值图像对应的音符时值，并根据x向顺序生成时值序列。4.如权利要求3所述的乐谱识别方法，其特征在于，所述根据乐谱特征图像，获取乐谱图像中的时值序列中各时值对应的音符数值的步骤，包括：根据第一特征线性图像，将音符图像区域进行y向分割，获取单谱线的音符图像；根据第二特征线性图像，将所述各单谱线的音符图像进行x向分割，获取各单谱线的音符数字图像；采用卷积神经网络对各音符数字图像进行识别，确定音符数值；确定各音符数值对应的x向和y向坐标。5.如权利要求4所述的乐谱识别方法，其特征在于，所述根据所述时值序列及各时值对应音符数值，生成机器可视化乐谱图像的步骤，包括：生成可视化乐谱图像模板，所述可视化乐谱图像模板包括时值区域和音符矩阵区域，音符矩阵区域的各行与待演奏乐器的各弦对应；在所述时值区域顺序填入所述时值序列；以所述时值序列的各音符时值为x坐标，以音符矩阵区域的各行为y坐标，填入对应的音符数值，生成机器可视化乐谱图像。6.一种乐谱识别装置，其特征在于，包括：第一生成模块，用于将乐谱图像二值化后向y轴投影堆叠，生成乐谱特征图像；第一获取模块，用于根据乐谱特征图像，获取乐谱图像中的时值序列；第二获取模块，用于根据乐谱特征图像，获取乐谱图像中的时值序列中各时值对应的音符数值；第二生成模块，用于根据所述时值序列及各时值对应音符数值，生成机器可视化乐谱图像。7.根据权利要求6所述的乐谱识别装置，其特征在于，乐谱识别装置还包括：2CN112133264A权利要求书2/2页第一确定模块，用于确定所述乐谱特征图像中的第一特征线性图像；第二确定模块，用于根据所述第一特征线性图像中各线段的粗细、x轴长度和y轴间隔，确定所述乐谱图像中的时值图像区域和音符图像区域。8.根据权利要求7所述的乐谱识别装置，其特征在于，所述第一获取模块，包括：第一确定单元，用于将所述时值图像区域向x轴投影堆叠，确定第二特征线性图像；第一获取单元，用于根据第二特征线性图像的x轴坐标，对时值图像区域进行x向分割，获取单时值图像；第二确定单元，用于将各单时值图像向y轴投影，确定第三特征线性图像；第三确定单元，用于根据第三特征线性图像，确定各单时值图像对应的音符时值，并根据x向顺序生成时值序列。9.根据权利要求8所述的乐谱识别装置，其特征在于，所述第二获取模块，包括：第二获取单元，用于根据第一特征线性图像，将音符图像区