音乐节奏信息检测方法及其装置、设备、介质、产品.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115938332A(43)申请公布日2023.04.07(21)申请号202211098001.5(22)申请日2022.09.08(71)申请人广州欢聚时代信息科技有限公司地址511442广东省广州市番禺区南村镇万博二路79号万博商务区万达商业广场北区B-1栋23层(72)发明人戴长军林绪虹(74)专利代理机构广州利能知识产权代理事务所(普通合伙)44673专利代理师王增鑫(51)Int.Cl.G10H1/00(2006.01)权利要求书2页说明书15页附图6页(54)发明名称音乐节奏信息检测方法及其装置、设备、介质、产品(57)摘要本申请涉及一种音乐节奏信息检测方法及其装置、设备、介质、产品，所述方法包括：获取音频数据的语音特征序列，所述语音特征序列中包含按照预设频率采样获得的多个时序相对应的语音帧的特征编码信息；将所述语音特征序列输入鼓点检测模型提取语义特征，根据语义特征确定出各个时序相对应的节奏类型，所述节奏类型表征有鼓点或无鼓点；将各个时序相对应的节奏类型构造为所述音频数据相对应的音乐节奏信息。本申请借助鼓点检测模型对音频数据一次性识别其中的各个鼓点，效率高，识别精准。CN115938332ACN115938332A权利要求书1/2页1.一种音乐节奏信息检测方法，其特征在于，包括：获取音频数据的语音特征序列，所述语音特征序列中包含按照预设频率采样获得的多个时序相对应的语音帧的特征编码信息；将所述语音特征序列输入鼓点检测模型提取语义特征，根据语义特征确定出各个时序相对应的节奏类型，所述节奏类型表征有鼓点或无鼓点；将各个时序相对应的节奏类型构造为所述音频数据相对应的音乐节奏信息。2.根据权利要求1所述的音乐节奏信息检测方法，其特征在于，获取音频数据的语音特征序列，包括：获取录音设备产生的音频数据；根据预设频率对所述音频数据进行采样，获得语音帧序列，其中包含多个时序相对应的语音帧；对所述语音帧中的语音特征进行编码，获得特征编码信息，由各个时序的特征编码信息构成所述语音特征序列。3.根据权利要求1所述的音乐节奏信息检测方法，其特征在于，将所述语音特征序列输入鼓点检测模型提取语义特征，根据语义特征确定出各个时序相对应的节奏类型，包括：将所述语音特征序列输入鼓点检测模型，由其中的至少两级时序卷积网络逐级递进对所述语音特征序列执行扩张卷积，获得最终输出的深层语义特征；由所述鼓点检测模型中的分类器将每个时序相对应的所述深层语义特征映射到预设的分类空间，获得各个时序对应有鼓点的目标类别的分类概率；判断每个时序在所述目标类别获得的分类概率是否为所述分类空间中各个类别的分类概率中的最大值，当为最大值时，将该时序的节奏类型表示为有鼓点，否则将该时序的节奏类型表示为无鼓点。4.根据权利要求3所述的音乐节奏信息检测方法，其特征在于，将各个时序相对应的节奏类型构造为所述音频数据相对应的音乐节奏信息，包括：将每个时序的节奏类型按照有鼓点或无鼓点表示为二值化数值；按照时序先后关系，将各个时序的二值化数值构造为高维向量；根据音频数据所携带的节拍信息压缩所述高维向量后与所述音频数据构造为映射关系数据作为所述音频数据的音乐节奏信息。5.根据权利要求3所述的音乐节奏信息检测方法，其特征在于，所述鼓点检测模型的训练过程，包括：获取训练集中的训练样本及其监督标签，所述训练样本为样本音频数据经采用预设频率采样并执行数据增强之后获得的语音特征序列，所述监督标签为标注了所述样本音频数据在各个采样时序下的节奏类型的高维向量；将所述训练样本输入所述鼓点检测模型，获得由各个采样时序相对应的节奏类型所构成的预测向量，其中每个采样时序的节奏类型表示为二值化数值；采用所述监督标签计算所述预测向量相对应的损失值，将同批次训练样本的损失值汇总为模型损失值，在模型未收敛的状态下根据模型损失值对模型实施梯度更新，并调用下一训练样本实施迭代训练，直至将模型训练至收敛状态。6.根据权利要求5所述的音乐节奏信息检测方法，其特征在于，采用所述监督标签计算2CN115938332A权利要求书2/2页所述预测向量相对应的损失值，将同批次训练样本的损失值汇总为模型损失值，包括：针对同批次的每个训练样本中的各个时序分别计算交叉熵损失，获得与训练样本相应的多个单时序损失值；按照有鼓点和无鼓点两种节奏类型对同批次所有训练样本中的所有单时序损失值分类汇总求均值，确定出有鼓点相对应的正样本损失值和无鼓点相对应的负样本损失值；将所述正样本损失值和负样本损失值融合为该批次相对应的模型损失值。7.根据权利要求5所述的音乐节奏信息检测方法，其特征在于，获取训练集中的训练样本及其监督标签之前，包括：获取时长超过预设阈值的样本音频数据，所述样本音频数据预先关