视频摘要生成方法、装置、设备、系统及介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113987264A(43)申请公布日2022.01.28(21)申请号202111266325.0G06N3/08(2006.01)(22)申请日2021.10.28(71)申请人北京中科闻歌科技股份有限公司地址100028北京市海淀区北四环西路9号楼银谷大厦7层0715室(72)发明人马先钦王璋盛罗引王磊(74)专利代理机构北京开阳星知识产权代理有限公司11710代理人吴崇(51)Int.Cl.G06F16/738(2019.01)G06F16/75(2019.01)G06F16/783(2019.01)G10L15/26(2006.01)G06N3/04(2006.01)权利要求书3页说明书17页附图3页(54)发明名称视频摘要生成方法、装置、设备、系统及介质(57)摘要本公开涉及一种视频摘要生成方法、装置、设备、系统及介质。其中，图像处理方法包括：获取目标视频对应的多个视频片段；提取每个视频片段对应的多模态视频特征；基于多模态视频特征，计算每个视频片段的重要性得分；基于多个视频片段和每个视频片段的重要性得分，生成目标视频的摘要视频。根据本公开实施例，能够基于多个模态的特征，准确的生成目标视频的摘要视频。由此，当用户浏览视频摘要时，能准确的掌握目标视频的主要内容，因此，对于海量的目标视频，也可以满足用户快速且准确的从海量的目标视频中获取主要内容的需求。CN113987264ACN113987264A权利要求书1/3页1.一种视频摘要生成方法，其特征在于，包括：获取目标视频对应的多个视频片段；提取每个所述视频片段对应的多模态视频特征；基于所述多模态视频特征，计算每个所述视频片段的重要性得分；基于所述多个视频片段和每个所述视频片段的重要性得分，生成所述目标视频的摘要视频。2.根据权利要求1所述的方法，其特征在于，所述获取目标视频对应的多个视频片段，包括：对所述目标视频进行镜头边缘检测，得到所述目标视频中的至少一个转场视频帧；基于所述转场视频帧，将所述目标视频切分为所述多个视频片段。3.根据权利要求1所述的方法，其特征在于，所述多模态视频特征包括图像特征；其中，所述提取每个所述视频片段对应的多模态视频特征，包括：将每个所述视频片段分别输入预先训练好的图像特征提取模型，得到所述图像特征提取模型输出的每个所述视频片段对应的图像特征。4.根据权利要求1所述的方法，其特征在于，所述多模态视频特征包括音频特征；其中，所述提取每个所述视频片段对应的多模态视频特征，包括：提取每个所述视频片段对应的音频文本；针对每个所述视频片段对应的音频文本，对所述音频文本进行自然语言处理，得到所述视频片段对应的音频特征。5.根据权利要求4所述的方法，其特征在于，所述对所述音频文本进行自然语言处理，得到所述视频片段对应的音频特征，包括：对所述音频文本进行向量化处理，得到所述音频文本对应的音频文本向量；将所述音频文本向量输入预先训练好的文本分类模型，得到所述文本分类模型输出的所述视频片段对应的音频特征。6.根据权利要求5所述的方法，其特征在于，在所述对所述音频文本进行向量化处理，得到所述音频文本对应的音频文本向量之前，所述方法还包括：在所述音频文本的字符量大于预设的字符量阈值的情况下，提取所述音频文本的文本摘要；其中，所述对所述音频文本进行向量化处理，得到所述音频文本对应的音频文本向量，包括：对所述文本摘要进行向量化处理，得到所述音频文本对应的音频文本向量。7.根据权利要求1所述的方法，其特征在于，所述多模态视频特征包括字幕特征；其中，所述提取每个所述视频片段对应的多模态视频特征，包括：提取每个所述视频片段对应的字幕文本；针对每个所述视频片段对应的字幕文本，对所述字幕文本进行自然语言处理，得到所述视频片段对应的字幕特征。8.根据权利要求7所述的方法，其特征在于，所述对所述字幕文本进行自然语言处理，得到所述视频片段对应的字幕特征，包括：对所述字幕文本进行向量化处理，得到所述字幕文本的字幕文本向量；2CN113987264A权利要求书2/3页将所述字幕文本向量输入预先训练好的命名实体识别模型，得到所述命名实体识别模型输出的所述视频片段对应的字幕特征。9.根据权利要求1所述的方法，其特征在于，所述基于所述多模态视频特征，计算每个所述视频片段的重要性得分，包括：针对每个所述视频片段，对所述视频片段对应的多模态视频特征进行加权求和，得到所述视频片段的融合特征；将所述融合特征输入预先训练好的摘要生成模型，得到所述摘要生成模型输出的每个所述视频片段的重要性得分。10.根据权利要求1所述的方法，其特征在于，所述基于所述多个视频片段和每个所述视频片段的重要性得分，生成所述目标视频的摘要视频，包括：基于