一种基于Transformer的视频片段分割方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113837083A(43)申请公布日2021.12.24(21)申请号202111120509.6(22)申请日2021.09.24(71)申请人焦点科技股份有限公司地址210032江苏省南京市高新开发区星火路软件大厦A座12F(72)发明人吕晨房鹏展(74)专利代理机构南京瑞弘专利商标事务所(普通合伙)32249代理人陈建和(51)Int.Cl.G06K9/00(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书5页附图2页(54)发明名称一种基于Transformer的视频片段分割方法(57)摘要本发明公开了一种基于Transformer的视频片段分割方法，其特征在于，对视频的画面和语音采样获得采样图片和采样语音，将采样图片与采样语音对应并标注分割标签；输入卷积神经网络，提取采样图片的卷积特征和采样语音的MFCC特征，对两者进行拼接并融合位置特征，获得相应的序列，输入transformer模型进行训练；使用模型，得到目标视频的切割预测标签，根据切割预测标签对目标视频进行切分。本发明充分利用transformer模型结构对长序列建模的优势，将视频片段分割转化为序列标注问题，进一步将视频通过序列标注结果进行分割成多个片段，达到将视频逐秒标注，并根据标注结果将视频分割成多个片段的效果。CN113837083ACN113837083A权利要求书1/2页1.一种基于Transformer的视频片段分割方法，其特征在于，对数据源采样及标注，构建及训练模型，使用模型，所述数据源包括视频及语音，具体步骤包括：步骤S1，对数据源采样及标注，将视频时长调整至预设时长，对视频的画面采样获得采样图片，对视频的语音采样获得采样语音，将采样图片与采样语音对应并标注分割标签；步骤S2：构建及训练transformer模型，将采样图片与采样语音输入卷积神经网络，所述卷积神经网络包括图片特征抽取网络和语音信号读取网络，提取采样图片的卷积特征和采样语音的MFCC特征，对采样图片的卷积特征和采样语音的MFCC特征进行拼接并融合位置特征，获得相应的序列，将所述序列输入预设的transformer模型进行训练；步骤S3：transformer模型的使用，通过步骤S1处理目标视频，将处理的结果输入步骤S2训练的transformer模型，得到目标视频的切割预测标签，根据切割预测标签对目标视频进行切分。2.如权利要求1所述的一种基于Transformer的视频片段分割方法，其特征在于：所述步骤S1具体包括：步骤S1‑1，所述将视频时长调整至预设时长包括，对于低于预设时长的视频，采用空白画面和空白语音补全，对于大于预设时长的视频，采用倍速压缩至预设时长，记录压缩倍速率用于还原位置；步骤S1‑2，对视频采用抽帧采样获得采样图片，每秒采样一张，对语音采用逐秒采样，每秒的采样语音再细分成预设段落数的语音片段，对应采样图片及相应的语音片段，获得具有采样图片及语音片段的视频片段；步骤S1‑3，对视频片段进行标注，获得分割标签；所述步骤S2具体包括：步骤S2‑4，将采样图片缩放到预设的固定尺寸，输入图片特征抽取网络，提取相应的卷积特征；步骤S2‑5，将语音片段输入语音信号读取网络,提取相应的MFCC特征；步骤S2‑6，将采样图片的卷积特征和语音片段的MFCC特征进行拼接，融合位置特征，得到由视频片段组成的数据源的序列；步骤S2‑7，将所述序列输入预设的transformer模型，通过多头的encoder‑decoder结构对输入进行编码和解码，得到每个视频片段的特征向量；步骤S2‑8，将所述特征向量送入分类层，得到对应的预测分割标签，对比步骤S1‑3中标注的分割标签，计算两者的交叉熵损失，根据最小化损失原则，通过神经网络反向传播算法训练模型，更新模型参数；所述步骤S3具体包括：步骤S3‑9，将目标视频通过步骤S1‑1和S1‑2，得到包含视频片段的数据源；步骤S3‑10，将所述视频片段中对应的采样图片和语音片段分别输入步骤S2‑4和S2‑5，得到对应的卷积特征和MFCC特征；步骤S3‑11,将采样图片的卷积特征和语音片段的MFCC特征按步骤S2‑6拼接，融合位置特征，输入训练并更新了模型参数的transformer模型，得到视频片段的切割预测标签，根据切割预测标签和视频的压缩倍速率将数据源切分，得到原始视频各时间点的预测结果。3.如权利要求2所述的一种基于Transformer的视频片段分割方法，其特征在于：所述2CN113837083A权利要求书2/2页步骤S1‑1中，视频的预设时长为15分钟，所述每秒的采样语音的预设段落数为40。4.如权利要求3所