一种用于辅助钢琴教学的智能识别弹奏错误的方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113723264A(43)申请公布日2021.11.30(21)申请号202110982026.0(22)申请日2021.08.25(71)申请人桂林智神信息技术股份有限公司地址541004广西壮族自治区桂林市七星区铁山工业园黄桐路9号(72)发明人韩冰冰陶之雨郑庆伟(74)专利代理机构北京泛华伟业知识产权代理有限公司11280代理人王勇(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)G06Q50/20(2012.01)权利要求书3页说明书11页附图3页(54)发明名称一种用于辅助钢琴教学的智能识别弹奏错误的方法及系统(57)摘要本发明提供一种用于辅助钢琴教学的智能识别弹奏错误的方法，包括：从钢琴键盘上方获取弹奏钢琴的包含完整钢琴键盘的2D图像；通过钢琴键盘检测网络对所述2D图像进行目标检测以检测出以2D图像的相对位置坐标表示的钢琴键盘区域，并通过转换获得2D图像原始坐标下的钢琴键盘位置坐标；通过手部检测网络对以钢琴键盘位置坐标表示的钢琴键盘区域进行目标检测以检测出以钢琴键盘区域的相对位置坐标表示的手部区域，并通过转换获得2D图像原始坐标下的手部位置坐标；通过手型错误检测网络识别以手部位置坐标表示的手部区域中的手型错误类型以及以手部区域的相对位置坐标表示的手型错误位置，并通过转换获得2D图像原始坐标下的手型错位位置坐标。CN113723264ACN113723264A权利要求书1/3页1.一种用于辅助钢琴教学的智能识别弹奏错误的方法，其特征在于，所述方法包括：从钢琴键盘上方获取弹奏钢琴的包含完整钢琴键盘的2D图像；通过钢琴键盘检测网络对所述2D图像进行目标检测以检测出以2D图像的相对位置坐标表示的钢琴键盘区域，并将所述用于表示钢琴键盘区域的2D图像的相对位置坐标转换为2D图像原始坐标系下的坐标以获得2D图像原始坐标下的钢琴键盘位置坐标；通过手部检测网络对以钢琴键盘位置坐标表示的钢琴键盘区域进行目标检测以检测出以钢琴键盘区域的相对位置坐标表示的手部区域，并将所述用于表示手部区域的钢琴键盘区域的相对位置坐标转换为2D图像原始坐标系下的坐标以获得2D图像原始坐标下的手部位置坐标；通过手型错误检测网络识别以手部位置坐标表示的手部区域中的手型错误类型以及以手部区域的相对位置坐标表示的手型错误位置，并将所述用于表示手型错误位置的手部区域的相对位置坐标转换为2D图像原始坐标系下的坐标以获得2D图像原始坐标下的手型错位位置坐标。2.根据权利要求1所述的用于辅助钢琴教学的智能识别弹奏错误的方法，其特征在于，所述方法还包括：从所述以钢琴键盘位置坐标表示的钢琴键盘区域中将每个琴键划分出来得到以钢琴键盘区域的相对位置坐标表示的不同琴键，并将每个用于表示琴键的钢琴键盘区域的相对位置坐标转换为2D图像原始坐标系下的坐标以获得2D图像原始坐标下的琴键坐标；通过指尖特征点检测网络从以手部位置坐标表示的手部区域中检测出以手部区域的相对位置坐标表示的不同手指的指尖特征点，并将每个用于表示不同手指的指尖特征点的手部区域的相对位置坐标转换为2D图像原始坐标系下的坐标以获得2D图像原始坐标下的指尖坐标；基于指尖坐标和琴键坐标进行位置判断，将落在琴键上的指尖与该琴键进行绑定获得手指按键绑定关系，并将弹奏同一个音符的手指按键绑定关系和曲谱数据库中的标准绑定关系进行对比以检测指法错误。3.根据权利要求1所述的用于辅助钢琴教学的智能识别弹奏错误的方法，其特征在于，还包括：在检测出钢琴键盘区域后，将钢琴键盘区域进行第一预设像素的扩展，获得包含完整手部的钢琴键盘有效区域。4.根据权利要求3所述的用于辅助钢琴教学的智能识别弹奏错误的方法，其特征在于，所述第一预设像素为200像素。5.根据权利要求1所述的用于辅助钢琴教学的智能识别弹奏错误的方法，其特征在于，还包括：在检测出手部区域后，基于钢琴键盘位置坐标和手部位置坐标的对比，过滤掉未落在钢琴键盘上的手，将落在钢琴键盘上的手的坐标边界向四个方向进行第二预设像素的扩展，获得包含落在钢琴键盘上的手的完整手部的手部区域以及对应手部位置坐标。6.根据权利要求5所述的用于辅助钢琴教学的智能识别弹奏错误的方法，其特征在于，所述第二预设像素为30像素。7.根据权利要求2所述的用于辅助钢琴教学的智能识别弹奏错误的方法，其特征在于，2CN113723264A权利要求书2/3页通过如下方式对神经网络进行训练以获得所述钢琴键盘检测网络、手部检测网络、手型错误检测网络、指尖特征点检测网络：S1、采集多个人在多种场景下的弹奏不同类型钢琴的图像，形成原始数据集，使原始数据集中