音色转换处理方法、装置、电子设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114171037A(43)申请公布日2022.03.11(21)申请号202111327316.8(22)申请日2021.11.10(71)申请人北京达佳互联信息技术有限公司地址100085北京市海淀区上地西路6号1幢1层101D1-7(72)发明人邹逸张冉张凯翔(74)专利代理机构北京润泽恒知识产权代理有限公司11319代理人李娜(51)Int.Cl.G10L21/013(2013.01)G10H1/02(2006.01)权利要求书2页说明书14页附图4页(54)发明名称音色转换处理方法、装置、电子设备及存储介质(57)摘要本公开关于一种音色转换处理方法、装置、电子设备及存储介质。其中，所述方法包括：获取原始音频，并提取所述原始音频的音色转换信息；根据音色转换信息，合成具有目标音色的参考音频，参考音频至少包含谐波音频，所述谐波音频为与所述原始音频的音频内容一致，且仅包含谐波的音频；获取所述原始音频的正弦成分，并基于预设的插值系数，通过频谱特征插值方法对所述谐波音频与所述正弦成分做插值处理，得到音色转换后的目标音频，所述目标音频的音色介于所述原始音频的音色与所述目标音色之间。这样，合成具有目标音色的参考音频后，结合基于听觉感知特征研究的时频域特征插值技术，实现一种可控的音色转换方案，提高音色转换的有效性和灵活性。CN114171037ACN114171037A权利要求书1/2页1.一种音色转换处理方法，其特征在于，包括：获取原始音频，并提取所述原始音频的音色转换信息；根据所述音色转换信息，合成具有目标音色的参考音频，所述参考音频至少包含谐波音频，所述谐波音频为与所述原始音频的音频内容一致，且仅包含谐波的音频；获取所述原始音频的正弦成分，并基于预设的插值系数，通过频谱特征插值方法对所述谐波音频与所述正弦成分做插值处理，得到音色转换后的目标音频，所述目标音频的音色介于所述原始音频的音色与所述目标音色之间。2.根据权利要求1所述的方法，其特征在于，所述根据所述音色转换信息，合成具有目标音色的参考音频的步骤包括：根据所述音色转换信息，通过解码器组件合成具有目标音色的参考音频；其中，所述解码器组件是对待训练自编码器模型训练得到，所述待训练自编码器模型中至少包含一个待训练解码器组件。3.根据权利要求2所述的方法，其特征在于，在所述根据所述音色转换信息，通过解码器组件合成具有目标音色的参考音频的步骤之前，还包括：获取至少一个样本音频以及所述样本音频对应的标准音频，所述标准音频具有目标音色且与所述样本音频的音频内容一致；将所述样本音频输入至所述待训练自编码器模型，得到预测音频；计算所述预测音频与所述标准音频之间的损失值，根据所述损失值对所述待训练自编码器模型进行迭代调整，得到所述解码器组件。4.根据权利要求3所述的方法，其特征在于，所述待训练自编码器模型包括待训练解码器组件和待训练编码器组件，所述待训练编码器组件用于对所述样本音频进行编码，得到所述样本音频的音色转换信息，所述待训练解码器组件用于基于所述样本音频的音色转换信息进行解码并合成，生成所述预测音频。5.根据权利要求3所述的方法，其特征在于，所述计算所述预测音频与所述标准音频之间的损失值，包括：计算所述预测音频与所述标准音频之间的多尺度频谱损失。6.根据权利要求1‑5中任一项所述的方法，其特征在于，所述提取所述原始音频的音色转换信息的步骤，包括：计算所述原始音频的响度信息，并将所述响度信息通过第一滤波器，得到所述原始音频的响度曲线，所述第一滤波器包括中值平滑滤波器；通过第二滤波器获得所述原始音频的时域波形包络，所述第二滤波器包括希尔伯特滤波器；提取所述原始音频的基音频率，将所述响度曲线、所述时域波形包络以及所述基音频率作为所述原始音频的音色转换信息。7.根据权利要求1‑5中任一项所述的方法，其特征在于，所述获取所述原始音频的正弦成分，包括：对所述原始音频进行分解处理，得到所述原始音频中的正弦音频和噪声成分，所述正弦音频包括基频与谐波；基于所述正弦音频，通过第三滤波器建模获取所述原始音频的频谱包络和谐波频率2CN114171037A权利要求书2/2页值，作为所述原始音频的正弦成分，所述第三滤波器包括源滤波器模型。8.根据权利要求7所述的方法，其特征在于，所述基于预设的插值系数，通过频谱特征插值方法对所述谐波音频与所述正弦成分做插值处理，得到音色转换后的目标音频的步骤，包括：基于预设的插值系数，通过频谱特征插值方法对所述谐波音频与所述正弦成分做插值处理，得到第一音频；对所述第一音频赋予所述噪声成分，得到音色转换后的目标音频；其中，所述插值系数用于控制谐波频率值的插值比例和频谱包络的变形程度，以控制所述目标音频相