预览加载中,请您耐心等待几秒...
1/10
2/10
3/10
4/10
5/10
6/10
7/10
8/10
9/10
10/10

亲,该文档总共20页,到这已经超出免费预览范围,如果喜欢就直接下载吧~

如果您无法下载资料,请参考说明:

1、部分资料下载需要金币,请确保您的账户上有足够的金币

2、已购买过的文档,再次下载不重复扣费

3、资料包下载后请先用软件解压,在使用对应软件打开

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110971969A(43)申请公布日2020.04.07(21)申请号201911251090.0G10L25/63(2013.01)(22)申请日2019.12.09(71)申请人北京字节跳动网络技术有限公司地址100041北京市石景山区实兴大街30号院3号楼2层B-0035房间(72)发明人高永强(74)专利代理机构北京市立方律师事务所11330代理人张筱宁(51)Int.Cl.H04N21/439(2011.01)H04N21/44(2011.01)G06N3/04(2006.01)G06N3/08(2006.01)G10L25/03(2013.01)权利要求书2页说明书13页附图4页(54)发明名称视频配乐方法、装置、电子设备及计算机可读存储介质(57)摘要本公开提供了一种视频配乐方法、装置、电子设备及计算机可读存储介质,涉及视频处理技术领域。该方法包括:将待配乐的视频输入预先训练的第一神经网络模型,得到待配乐的视频的特定维度视频特征;将特定维度视频特征输入预定的第二神经网络模型,得到待配乐的视频的情感类别;在曲库池中获取与情感类别对应的多个曲目,分别提取多个曲目的音频特征;根据待配乐的视频的特定维度视频特征与各个曲目的音频特征进行欧式距离计算,并将欧式距离在预设范围内的曲目作为待配乐的视频的推荐曲目。本公开实现了基于视频所表达的情感类别,可以对视频进行自动化配乐,提高了用户的使用体验。CN110971969ACN110971969A权利要求书1/2页1.一种视频配乐方法,其特征在于,包括:将所述待配乐的视频输入预先训练的第一神经网络模型,得到所述待配乐的视频的特定维度视频特征;将所述特定维度视频特征输入预定的第二神经网络模型,得到所述待配乐的视频的情感类别,所述第二神经网络模型是用于对输入视频特征进行情感类别分类的神经网络模型;在曲库池中获取与所述情感类别对应的多个曲目,分别提取所述多个曲目的音频特征;根据所述待配乐的视频的特定维度视频特征与各个曲目的音频特征进行欧式距离计算,并将欧式距离在预设范围内的曲目作为所述待配乐的视频的推荐曲目。2.根据权利要求1所述的方法,其特征在于,所述将所述待配乐的视频输入预先训练的第一神经网络模型,得到所述待配乐的视频的特定维度视频特征,包括:将所述待配乐的视频进行切片处理,得到多个切片后的第一视频片段;对各个第一视频片段分别进行图像帧采样,得到多个第一采样图像;将所述多个第一采样图像输入预先训练的第一神经网络模型,得到所述待配乐的视频的特定维度视频特征。3.根据权利要求1-2任一项所述的方法,其特征在于,所述第一神经网络模型的训练过程,包括:从多媒体样本文件中获取样本视频,并将所述样本视频输入初始神经网络模型中进行特征提取,得到所述样本视频的第一维度视频特征;获取所述样本视频所对应的特定维度视频特征;基于所述样本视频、所述样本视频对应的特定维度视频特征以及所述样本视频的第一维度视频特征,对所述初始神经网络模型中的参数进行训练,直至所述初始神经网络模型输出与所述样本视频对应的特定维度视频特征,得到训练后的第一神经网络模型。4.根据权利要求3所述的方法,其特征在于,所述将所述样本视频输入初始神经网络模型中进行特征提取,得到所述样本视频的第一维度视频特征,包括:将所述样本视频进行切片处理,得到多个切片后的第二视频片段;对各个第二视频片段分别进行图像帧采样,得到多个第二采样图像;将所述多个第二采样图像输入初始神经网络模型进行特征提取,得到所述样本视频的第一维度视频特征。5.根据权利要求3-4任一项所述的方法,其特征在于,所述获取样本视频所对应的特定维度视频特征,包括:从多媒体样本文件中获取所述样本视频对应的样本音频,并从所述样本音频中提取所述样本音频的原始音频特征;将所述原始样本音频通过预设降维工具进行降维,得到所述样本音频的特定维度音频特征;将所述样本视频的第一维度视频特征与所述样本音频的特定维度音频特征进行回归处理,得到所述样本视频的特定维度视频特征,其中,所述样本视频的第一维度视频特征与所述音频样本的特定维度音频特征具有关联关系。2CN110971969A权利要求书2/2页6.根据权利要求3-5任一项所述的方法,其特征在于,所述通过多媒体样本文件中获取样本视频,包括:获取所述多媒体样本文件,所述多媒体样本文件中包括第一网络视频;基于所述第一网络视频进行剪辑处理,得到多个符合预设时长的第二网络视频作为所述样本视频。7.根据权利要求5-6任一项所述的方法,其特征在于,所述从多媒体样本文件中获取所述样本视频对应的样本音频,包括:获取所述多媒体样本文件,所述多媒体样本文件中包括第一网络视频与所述第一网络视频对应的