视频处理方法、装置、终端及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110753238A(43)申请公布日2020.02.04(21)申请号201911039242.0(22)申请日2019.10.29(71)申请人北京字节跳动网络技术有限公司地址100041北京市石景山区实兴大街30号院3号楼2层B-0035房间(72)发明人史俊杰(74)专利代理机构北京新知远方知识产权代理事务所(普通合伙)11397代理人马军芳张艳(51)Int.Cl.H04N21/233(2011.01)H04N21/439(2011.01)H04N21/81(2011.01)H04N21/845(2011.01)权利要求书3页说明书16页附图10页(54)发明名称视频处理方法、装置、终端及存储介质(57)摘要本公开实施例提供一种视频处理方法、装置、终端及存储介质；方法包括：获取目标视频的音频数据；对所述音频数据进行节奏点检测，得到所述音频数据的节奏点；基于得到的所述节奏点，对所述音频数据进行分段处理，得到所述音频数据的音频片段；分别确定所述音频片段对应的声像位置；基于确定的所述声像位置，对所述音频片段进行声音渲染。CN110753238ACN110753238A权利要求书1/3页1.一种视频处理方法，其特征在于，所述方法包括：获取目标视频的音频数据；对所述音频数据进行节奏点检测，得到所述音频数据的节奏点；基于得到的所述节奏点，对所述音频数据进行分段处理，得到所述音频数据的音频片段；确定所述音频片段对应的声像位置；基于确定的所述声像位置，对所述音频片段进行声音渲染。2.如权利要求1所述的方法，其特征在于，所述对所述音频数据进行节奏点检测，得到所述音频数据的节奏点，包括：基于采样窗口对所述音频数据进行采样处理，得到采样窗口对应的音频数据；基于所述采样窗口对应的音频数据，确定所述采样窗口对应的能量谱；基于所述采样窗口对应的能量谱，确定所述音频数据的节奏点。3.如权利要求2所述的方法，其特征在于，所述基于所述采样窗口对应的音频数据，确定所述采样窗口对应的能量谱，包括：对所述采样窗口对应的音频数据进行傅里叶变换，得到对应所述采样窗口的音频频谱；确定所述目标视频的音频数据中相邻采样窗口对应的音频频谱的差异度；基于所述差异度，确定对应所述采样窗口的能量谱。4.如权利要求1所述的方法，其特征在于，所述对所述音频数据进行节奏点检测，得到所述音频数据的节奏点，包括：通过神经网络模型对所述音频数据进行特征提取，得到所述音频数据的音频特征；通过神经网络模型对所述音频特征进行节奏点预测，得到所述音频数据的节奏点。5.如权利要求1所述的方法，其特征在于，所述确定所述音频片段对应的声像位置，包括：获取针对所述音频数据的声像位置模板；确定所述声像位置模板中音频片段的声像位置；基于所述音频数据的音频片段与所述声像位置模板中音频片段的对应关系，确定所述音频数据的音频片段对应的声像位置。6.如权利要求1所述的方法，其特征在于，所述确定所述音频片段对应的声像位置，包括：获取所述音频片段对应的帧图像序列；确定所述帧图像序列中的目标对象的第一姿态信息；基于所述第一姿态信息，确定所述音频片段对应的声像位置。7.如权利要求6所述的方法，其特征在于，所述基于所述第一姿态信息，确定所述音频片段对应的声像位置，包括：获取预设声像位置所对应的第二姿态信息；将所述第二姿态信息与所述第一姿态信息进行匹配，得到匹配结果；基于所述匹配结果，确定所述音频片段对应的声像位置。8.如权利要求1所述的方法，其特征在于，所述确定所述音频片段对应的声像位置，包2CN110753238A权利要求书2/3页括：获取所述音频片段对应的帧图像序列；确定所述帧图像序列中目标对象的目标部位的位置信息；基于所述目标部位的位置信息，确定所述音频片段对应的声像位置。9.如权利要求1所述的方法，其特征在于，所述确定所述音频片段对应的声像位置，包括：获取所述音频片段对应的帧图像序列；确定所述帧图像序列中目标对象的位置信息；基于所述目标对象的位置信息，确定所述音频片段对应的声像位置。10.如权利要求9所述的方法，其特征在于，所述基于所述目标对象的位置信息，确定所述音频片段对应的声像位置，包括：获取目标对象的位置区域与声像位置的映射关系；基于所述音频片段中所述目标对象的位置信息，以及所述映射关系，确定所述音频片段对应的声像位置。11.如权利要求1所述的方法，其特征在于，所述音频片段标注有起始时间戳，所述基于确定的所述声像位置，对所述音频片段进行声音渲染，包括：当播放到达所述音频片段的起始时间戳时，基于所述音频片段对应的声像位置，生成对应所述声像位置的双耳播放信号。12.一种视频处理装置，其特征在于，所述装置包括：获取单元，用于获取目标视频的