音乐特效匹配方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN108877838A(43)申请公布日2018.11.23(21)申请号201810787419.4(22)申请日2018.07.17(71)申请人黑盒子科技（北京）有限公司地址100000北京市海淀区中关村东路1号院8号楼地下一层CB101-140号(72)发明人车君怡任续超张学斌(74)专利代理机构北京超凡志成知识产权代理事务所(普通合伙)11371代理人魏彦(51)Int.Cl.G10L25/54(2013.01)G10L25/63(2013.01)G10H1/00(2006.01)G06F17/30(2006.01)权利要求书3页说明书10页附图3页(54)发明名称音乐特效匹配方法及装置(57)摘要本发明提供了一种音乐特效匹配方法及装置，涉及音乐识别技术领域，该方法包括：获取待匹配的音频数据，检测音频数据的节拍；判断该节拍是否为音频数据的节奏变化点，如果是，将节拍标记为可选音乐段落起始点，生成起始点列表；按照预先设置的起始点选取规则，在起始点列表中选取音乐段落起始点，将音频数据划分成多个音乐段落；设置每个音乐段落的情感标签，计算每个情感标签的情感分数；在预先存储的特效数据库中查找与情感分数匹配的视觉表达效果并与音乐段落关联存储，以使音频数据被读取时，播放视觉表达效果。本发明提供的音乐特效匹配方法及装置，助于用户与音乐的情感交互，提升了用户的体验度。CN108877838ACN108877838A权利要求书1/3页1.一种音乐特效匹配方法，其特征在于，所述方法包括：获取待匹配的音频数据，检测所述音频数据的节拍；判断检测到的所述节拍是否为所述音频数据的节奏变化点；如果是，将所述节拍标记为可选音乐段落起始点，生成起始点列表，其中，所述起始点列表包括多个所述可选音乐段落起始点；按照预先设置的起始点选取规则，在所述起始点列表中选取音乐段落起始点，将所述音频数据划分成多个音乐段落；设置每个所述音乐段落的情感标签，计算每个所述音乐段落对应的所述情感标签的分数；在预先存储的特效数据库中查找与所述情感分数匹配的视觉表达效果，将所述视觉表达效果的标识与所述音乐段落关联存储，以使所述音频数据被读取时，播放所述音乐段落对应的所述视觉表达效果。2.根据权利要求1所述的方法，其特征在于，所述检测所述音频数据的节拍的步骤包括：按照预先设置的分段间隔，将所述音频数据划分成等长段落；根据所述音频数据的PCM数据计算每个所述等长段落的音频能量值；将高于预先设置的能量阈值的所述音频能量值标记为峰值，所述峰值对应的等长段落标记为峰值段落；获取预先存储的BPM集合，从小到大依次遍历所述BPM集合中的每个BPM值；计算每个所述BPM值与所述峰值分布的重合度；根据所述重合度最高的所述BPM值确定所述音频数据的节拍。3.根据权利要求1所述的方法，其特征在于，所述判断检测到的所述节拍是否为所述音频数据的节奏变化点的步骤包括：获取所述节拍，按照预先设置的采样频率与段落长度，选取所述节拍对应的采样点集合；根据所述采样点集合对所述节拍进行图片编码，生成所述节拍对应的第一编码图片，其中，每个所述采样点集合包括当前所述采样点集合的左右声道数据，所述第一编码图片为三通道RGB图片；将所述第一编码图片输入预先训练好的第一图片标记模型，计算所述第一编码图片的标记等级；获取所述标记等级，当所述标记等级与节奏变化标记一致时，确定所述节拍为所述音频数据的节奏变化点；当所述标记等级与节奏变化标记不一致时，确定所述节拍为所述音频数据的非节奏变化点。4.根据权利要求2所述的方法，其特征在于，所述起始点选取规则包括：所述可选音乐段落起始点为所述音频数据对应歌词语句的起始点对应的节拍；所述音频能量值超过所述峰值指定倍数对应的所述可选音乐段落起始点；所述按照预先设置的起始点选取规则，在所述起始点列表中选取音乐段落起始点，将所述音频数据划分成多个音乐段落的步骤包括：当所述可选音乐段落起始点满足所述起始点选取规则之一时，确定所述可选音乐段落2CN108877838A权利要求书2/3页起始点为音乐段落起始点；按照所述音频数据的播放顺序，所述音乐段落的结束点为近邻的下一个所述音乐段落起始点，将所述音频数据划分成多个不等长的音乐段落。5.根据权利要求1所述的方法，其特征在于，所述设置每个所述音乐段落的情感标签，计算每个所述音乐段落对应的所述情感标签的情感分数的步骤包括：获取每个所述音乐段落，按照预先设置的采样频率与子段落长度，将所述音乐段落划分成多个等长子段落；对每个所述等长子段落进行图片编码，生成每个所述等长子段落对应的第二编码图片，其中，每个所述音乐段落的采样点包括当前每个所述音乐段落的采样点的左右声道数据，所述第二编码图片为三通