模型训练、歌曲合成、音频标记和歌曲打分方法及其组件.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115376474A(43)申请公布日2022.11.22(21)申请号202210933447.9(22)申请日2022.08.04(71)申请人腾讯音乐娱乐科技（深圳）有限公司地址518052广东省深圳市前海深港合作区前湾一路1号A栋201室（入驻深圳市前海商务秘书有限公司）(72)发明人江益靓赵伟峰姜涛(74)专利代理机构深圳市深佳知识产权代理事务所(普通合伙)44285专利代理师孙超(51)Int.Cl.G10H1/00(2006.01)G06K9/62(2022.01)权利要求书2页说明书9页附图6页(54)发明名称模型训练、歌曲合成、音频标记和歌曲打分方法及其组件(57)摘要本申请公开了一种模型训练、歌曲合成、音频标记和歌曲打分方法及其组件，该模型训练方法包括：获取歌曲音频和歌曲音频对应的歌曲模板；利用歌曲模板，确定歌曲音频中的呼吸位置，并基于呼吸位置，确定呼吸位置距离前一唱段的间隔时长；在呼吸位置处进行能量提取，得到呼吸位置对应的能量峰值和呼吸时长；在歌曲音频标注呼吸位置、间隔时长、能量峰值和呼吸时长，得到训练样本；利用训练样本，对回归模型进行训练，得到特征提取模型。本申请能够训练获得提取多种不同维度的呼吸特征的特征提取模型，该特征提取模型能够满足更多应用需求，如歌曲合成、音频标记和歌曲打分。CN115376474ACN115376474A权利要求书1/2页1.一种模型训练方法，其特征在于，包括：获取歌曲音频和所述歌曲音频对应的歌曲模板；利用所述歌曲模板，确定所述歌曲音频中的所述呼吸位置，并基于所述呼吸位置，确定所述呼吸位置距离前一唱段的所述间隔时长；在所述呼吸位置处进行能量提取，得到所述呼吸位置对应的能量峰值和呼吸时长；在所述歌曲音频标注所述呼吸位置、所述间隔时长、所述能量峰值和所述呼吸时长，得到训练样本；利用所述训练样本，对回归模型进行训练，得到特征提取模型。2.根据权利要求1所述的模型训练方法，其特征在于，利用所述歌曲模板，确定所述歌曲音频中的所述呼吸位置，包括：利用所述歌曲模板中的时间间隔信息，确定所述歌曲音频中的呼吸换气点；其中，所述歌曲模板为旋律模板和/或歌词模板；在所述歌词模板中所述时间间隔信息为歌词各字之间的间隔时长；在所述旋律模板中所述时间间隔信息为各音符之间的间隔时长；对所述呼吸换气点进行呼吸检测，得到所述呼吸位置。3.根据权利要求2所述的模型训练方法，其特征在于，对所述呼吸换气点进行呼吸检测，得到所述呼吸位置，包括：若所述旋律模板和歌词模板对应的呼吸位置不同，则对所述歌词模板确定出的呼吸换气点进行呼吸检测，得到所述呼吸位置。4.根据权利要求2所述的模型训练方法，其特征在于，在所述呼吸位置处进行能量提取，得到所述呼吸位置对应的能量峰值和呼吸时长，包括：对所述歌曲音频中的所述呼吸位置处进行采样，得到采样点；提取所述采样点的能量；利用滤波函数对所述能量进行平滑处理，得到能量包络线；利用所述能量包络线，确定所述能量峰值和所述呼吸时长。5.一种歌曲合成方法，其特征在于，还包括：获取人工合成且无呼吸特征的合成歌曲音频；从参考歌曲库中，获取所述合成歌曲音频对应的参考音频；利用如权利要求1至4任一项所述特征提取模型对所述参考音频进行呼吸检测，得到所述参考音频对应的参考呼吸特征；参照所述呼吸参考特征，在所述合成歌曲音频中对应添加呼吸音频。6.一种音频标记方法，其特征在于，还包括：获取教唱客户端上传的待标记音频；利用如权利要求1至4任一项所述特征提取模型对所述待标记音频进行呼吸检测，得到所述参考音频对应的呼吸位置，所述呼吸位置距离前一唱段的间隔时长，所述呼吸位置对应的能量峰值和呼吸时长和间隔时长；利用所述呼吸位置、所述间隔时长、所述能量峰值和所述呼吸时长，在所述待标记音频上标记教唱信息，得到标记音频；将所述标记音频反馈给所述教唱客户端。7.一种歌曲打分方法，其特征在于，包括：2CN115376474A权利要求书2/2页获取用户端上传的目标歌唱音频，并从参考歌曲特征库中，获取所述目标歌曲音频对应的参考呼吸特征；利用如权利要求1至6任一项所述特征提取模型，对目标歌唱音频进行呼吸检测，得到所述目标歌唱音频对应的目标呼吸特征；比对所述参考呼吸特征和所述目标呼吸特征中的呼吸位置、间隔时长、能量峰值和呼吸时长，得到所述目标歌唱音频的歌唱评分。8.根据权利要求7所述的歌曲打分方法，其特征在于，比对所述参考呼吸特征和所述目标呼吸特征，得到所述目标歌唱音频的歌唱评分，包括：对比所述参考呼吸特征和所述目标呼吸特征，得到特征差异；按照所述目标歌曲的分类，对所述特征差异进行加权映射，得到所述歌唱评分。9.一种电子设备，其特征在于，包括：存储器，用于存储计算机程序；处理器，