预览加载中,请您耐心等待几秒...
1/10
2/10
3/10
4/10
5/10
6/10
7/10
8/10
9/10
10/10

亲,该文档总共17页,到这已经超出免费预览范围,如果喜欢就直接下载吧~

如果您无法下载资料,请参考说明:

1、部分资料下载需要金币,请确保您的账户上有足够的金币

2、已购买过的文档,再次下载不重复扣费

3、资料包下载后请先用软件解压,在使用对应软件打开

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115953995A(43)申请公布日2023.04.11(21)申请号202211636225.7(22)申请日2022.12.19(71)申请人上海墨百意信息科技有限公司地址200030上海市徐汇区丰谷路315弄24号2层2015室(72)发明人杨喜鹏岳鹏飞陈云琳(74)专利代理机构北京乐知新创知识产权代理事务所(普通合伙)11734专利代理师王睿(51)Int.Cl.G10L13/02(2013.01)G10L25/27(2013.01)G10L19/04(2013.01)权利要求书2页说明书10页附图4页(54)发明名称语音合成模型的训练方法、装置、电子设备及存储介质(57)摘要本公开提供了一种语音合成模型的训练方法、装置、电子设备及存储介质,所述方法包括:将第一语音样本对应的音乐信息,输入至时长提取模块,获取乐谱样本嵌入值;将乐谱样本嵌入值和乐谱样本嵌入值对应的音高样本嵌入值输入至线性变换模块,进行降维;将线性变换模块的输出,作为框架网络模块的输入,获取音乐信息对应的第一预测样本特征;获取第一语音样本对应的隐特征;将隐特征输入至解码器中,获取隐特征对应的预测语音样本;基于第一语音样本和所述预测语音样本,调整解码器的参数;基于第一预测样本特征和隐特征,调整所述线性变换模块和框架网络模块的参数;基于音高样本嵌入值调整音高提取模块的参数。CN115953995ACN115953995A权利要求书1/2页1.一种语音合成模型的训练方法,其特征在于,所述方法包括:将第一语音样本对应的音乐信息,输入至时长提取模块,获取乐谱样本嵌入值;将所述乐谱样本嵌入值和所述乐谱样本嵌入值对应的音高样本嵌入值输入至线性变换模块,进行降维;将所述线性变换模块的输出,作为框架网络模块的输入,获取所述音乐信息对应的第一预测样本特征;获取所述第一语音样本对应的隐特征;将所述隐特征输入至解码器中,获取所述隐特征对应的预测语音样本;基于所述第一语音样本和所述预测语音样本,调整所述解码器的参数;基于第一预测样本特征和所述隐特征,调整所述线性变换模块和框架网络模块的参数;基于音高样本嵌入值调整音高提取模块的参数。2.根据权利要求1所述的方法,其特征在于,所述将第一语音样本对应的音乐信息,输入至时长提取模块,获取乐谱样本嵌入值,包括:将所述音乐信息包括的连音信息和颤音信息输入至第一预测模块中,获取所述连音信息和所述颤音信息对应的第一样本嵌入值;将所述音乐信息包括的音素输入至第一编码模块中,获取所述音素对应的音素样本嵌入值;将所述音乐信息包括的时长信息输入至第二预测模块中,获取所述时长信息对应的时长样本嵌入值;将所述第一样本嵌入值、所述音素样本嵌入值、所述时长样本嵌入值和所述音乐信息包括的音高信息输入至所述时长提取模块中,获取所述乐谱样本嵌入值。3.根据权利要求1或2所述的方法,其特征在于,所述将所述乐谱样本嵌入值和所述乐谱样本嵌入值对应的音高样本嵌入值输入至线性变换模块,进行降维之前,所述方法还包括:将所述乐谱样本嵌入值输入至音高提取模块中,获取所述乐谱样本嵌入值对应的音高样本嵌入值。4.根据权利要求1所述的方法,其特征在于,所述获取所述第一语音样本对应的隐特征,包括:将所述第一语音样本输入至所述语音合成模型包括的特征提取模块和第二编码模块中,获取所述第一语音样本对应的隐特征。5.根据权利要求1所述的方法,其特征在于,所述基于所述第一语音样本和所述预测语音样本,调整所述解码器的参数,包括:基于所述第一语音样本和所述预测语音样本确认第一损失函数;基于所述第一损失函数调整所述解码器的参数。6.根据权利要求1所述的方法,其特征在于,所述基于第一预测样本特征和所述隐特征,调整所述线性变换模块和框架网络模块的参数,包括:将所述隐特征输入至所述语音合成模型包括的流模块中,获取所述隐特征对应的映射隐特征;基于所述映射隐特征和所述第一预测样本特征,确认第二损失函数;2CN115953995A权利要求书2/2页基于所述第二损失函数调整所述线性变换模块、所述框架网络、所述语音合成模块包括的特征提取模块、语音合成模块包括的第一编码模块和语音合成模块包括的第二编码模块的参数。7.根据权利要求1所述的方法,其特征在于,所述基于音高样本嵌入值调整音高提取模块的参数,包括:将所述音高样本嵌入值输入至所述语音合成模型包括的音高预测模块,确认所述音高预测模块的输出为所述音高样本嵌入值对应的预测音高;基于所述预测音高和所述音高样本嵌入值对应的标记音高确认第三损失函数;基于所述第三损失函数,调整所述音高提取模块和所述音高预测模块的参数。8.根据权利要求1所述的方法,其特征在于,所述方法还包括:响应于所述时长信息包括字节时长,则获取所述第