一种伴奏音乐的提取方法、装置、设备和介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111667805A(43)申请公布日2020.09.15(21)申请号201910165261.1(22)申请日2019.03.05(71)申请人腾讯科技（深圳）有限公司地址518044广东省深圳市南山区高新区科技中一路腾讯大厦35层(72)发明人柯川朱明清彭艺(74)专利代理机构北京同达信恒知识产权代理有限公司11291代理人郭润湘李娟(51)Int.Cl.G10H1/36(2006.01)G10L15/02(2006.01)G10L15/06(2013.01)G10L25/30(2013.01)H04S1/00(2006.01)权利要求书3页说明书13页附图5页(54)发明名称一种伴奏音乐的提取方法、装置、设备和介质(57)摘要本申请属于音乐数据处理技术领域，公开了一种伴奏音乐的提取方法、装置、设备和介质，本申请公开的一种伴奏音乐的提取方法包括，对音频音乐进行转换，获得左声道相位谱、右声道相位谱、左声道幅度谱和右声道幅度谱；分别将左声道幅度谱和右声道幅度谱输入至伴奏提取模型，分别获得左声道伴奏幅度谱掩码和右声道伴奏幅度谱掩码；基于左声道幅度谱和左声道伴奏幅度谱掩码获得左声道伴奏幅度谱，并基于右声道幅度谱和右声道伴奏幅度谱掩码获得右声道伴奏幅度谱，以及基于左声道伴奏幅度谱、右声道伴奏幅度谱、左声道相位谱和右声道相位谱，确定音频音乐的立体声伴奏音乐。这样，可以获得高质量的立体声伴奏音乐。CN111667805ACN111667805A权利要求书1/3页1.一种伴奏音乐的提取方法，其特征在于，包括：获得音频音乐的左声道相位谱、右声道相位谱、左声道幅度谱和右声道幅度谱；采用预先训练的伴奏提取模型，分别获得所述左声道幅度谱的左声道伴奏幅度谱掩码和所述右声道幅度谱的右声道伴奏幅度谱掩码，所述伴奏提取模型是基于注意力机制的深度神经网络，采用音乐样本对数据训练得到的，每个音乐样本对数据包括音频音乐样本及其伴奏音乐样本；基于所述左声道幅度谱和左声道伴奏幅度谱掩码获得左声道伴奏幅度谱，并基于所述右声道幅度谱和右声道伴奏幅度谱掩码获得右声道伴奏幅度谱；基于所述左声道伴奏幅度谱、所述右声道伴奏幅度谱、所述左声道相位谱和所述右声道相位谱，确定所述音频音乐的立体声伴奏音乐。2.如权利要求1所述的方法，其特征在于，进一步包括：根据所述左声道伴奏幅度谱掩码获得左声道人声幅度谱掩码，并根据所述右声道伴奏幅度谱掩码获得右声道人声幅度谱掩码；基于所述左声道人声幅度谱掩码和所述左声道幅度谱获得左声道人声幅度谱，并基于所述右声道人声幅度谱掩码和所述右声道幅度谱获得右声道人声幅度谱；基于所述左声道人声幅度谱、所述右声道人声幅度谱、所述左声道相位谱和所述右声道相位谱，获得人声音频。3.如权利要求1所述的方法，其特征在于，所述采用预先训练的伴奏提取模型，分别获得所述左声道幅度谱的左声道伴奏幅度谱掩码和所述右声道幅度谱的右声道伴奏幅度谱掩码，包括：分别对所述左声道幅度谱和右声道幅度谱逐级进行多级卷积处理，获得每级卷积提取的编码特征，所述编码特征包括左声道编码特征和右声道编码特征；采用注意力机制，针对第一级注意门执行以下步骤：使用最后一级卷积输出的编码特征作为门控信息，并作用于通过跳跃连接skipconnections连接的编码特征，获得相应的显著编码特征；依次针对其它每一级注意门执行以下步骤：使用当前卷积提取的特征作为门控信息，并作用于通过skipconnections连接的编码特征，获得相应的显著编码特征，其中，所述当前卷积提取的特征是基于上一级注意门输出的显著编码特征以及上采样阶段提取的特征拼接并卷积获得的；输出所述左声道幅度谱的左声道伴奏幅度谱掩码和所述右声道幅度谱的右声道伴奏幅度谱掩码。4.如权利要求1-3任一项所述的方法，其特征在于，所述伴奏提取模型是基于注意力机制的深度神经网络，采用音乐样本对数据训练得到的，其中，采用音乐样本对数据所述伴奏提取模型进行训练，具体包括：基于音乐样本对数据中的音频音乐样本，获得音频音乐样本的左声道幅度谱和右声道幅度谱，并基于音乐样本对数据中的伴奏音乐样本，获得伴奏幅度谱样本；基于注意力机制的深度神经网络，以音频音乐样本的左声道幅度谱和右声道幅度谱为输入，获得音频音乐样本的左声道伴奏幅度谱掩码和右声道伴奏幅度谱掩码；根据音频音乐样本的左声道伴奏幅度谱掩码和左声道幅度谱，以及音频音乐样本的右2CN111667805A权利要求书2/3页声道伴奏幅度谱掩码和右声道幅度谱，获得预测的音频音乐样本的伴奏幅度谱；根据预测的伴奏幅度谱，以及相应的伴奏幅度谱样本，确定损失函数值；根据所述损失函数值对所述伴奏提取模型参数进行调整，获得调整后的伴奏提取模型。5.如权利要求4