基于GRU网络的视频摘要生成方法与系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112468888A(43)申请公布日2021.03.09(21)申请号202011349745.0(22)申请日2020.11.26(71)申请人广东工业大学地址510090广东省广州市越秀区东风东路729号(72)发明人陈周元(74)专利代理机构广州粤高专利商标代理有限公司44102代理人张金福(51)Int.Cl.H04N21/8549(2011.01)H04N21/466(2011.01)G06N3/04(2006.01)权利要求书4页说明书13页附图5页(54)发明名称基于GRU网络的视频摘要生成方法与系统(57)摘要本发明提供的一种基于GRU网络的视频摘要生成方法，包括：对输入的原始视频下采样并进行特征提取，生成视频帧序列；基于GRU网络的Seq2Seq模型对视频帧序列进行分析并捕捉视频序列的上下文信息，生成每一帧的重要性得分；根据重要性得分结果，使用非极大值抑制算法提取关键帧并去除冗余帧，获取静态视频摘要和动态视频摘要。本发明还提供的一种基于GRU网络的视频摘要生成系统，通过在Seq2Seq模型中引入GRU网络单元，使模型在处理视频帧序列时能最大程度保留帧与帧之间的长距离影响因素，同时减少模型的参数，有效减少了模型的计算量；使用非极大值抑制算法可以有效处理冗余帧，从而获取更具代表性的视频摘要。CN112468888ACN112468888A权利要求书1/4页1.基于GRU网络的视频摘要生成方法，其特征在于，包括以下步骤：S1：对输入的原始视频下采样并进行特征提取，生成视频帧序列；S2：基于GRU网络的Seq2Seq模型对视频帧序列进行分析并捕捉视频序列的上下文信息，生成每一帧的重要性得分；S3：根据重要性得分结果，使用非极大值抑制算法提取关键帧并去除冗余帧，获取静态视频摘要和动态视频摘要。2.根据权利要求1所述的基于GRU网络的视频摘要生成方法，其特征在于，在所述步骤S1中，首先对原始视频进行进行下采样处理，再采用GoogLeNe网络提取每一帧的图片特征。3.根据权利要求2所述的基于GRU网络的视频摘要生成方法，其特征在于，在所述步骤S2中，所述Seq2Seq模型是一个编码器-解码器结构的网络，采用双向GRU网络连接编码器；采用注意力机制模型连接解码器；其中：所述视频帧序列输入连接有双向GRU网络的编码器，生成上下文信息；所述上下文信息输入带有注意力机制的解码器中，生成每一帧的重要性得分。4.根据权利要求3所述的基于GRU网络的视频摘要生成方法，其特征在于，在所述步骤S2中，所述双向GRU网络包括forward层和backward层，这两层共同连接着输出层，其中包含了6个共享权值W；生成上下文信息的过程具体为：视频帧序列Z＝{F0,F1,F2,...,Fn-1}输入到双向GRU网络后，forward层从F0到Fn-1正向计算并保存当前帧之前各帧对当前帧的影响信息，backward层从Fn-1到F0反向计算并保存当前帧之后各帧对当前帧的影响信息；最后在每个时刻结合forward层和backward层的相应时刻输出的结果得到最终的输出；在编码器，当前节点在t时刻的输出为：t其中，x表示节点的输入；ht-1表示节点的前一状态；fGRU()表示根据节点的输入和节点上一状态信息，使用GRU节点求得节点的当前状态信息；和分别表示forward层中t时刻节点的输出和当前状态信息；和分别表示backward层中t时刻节点的输出和当前状态信息；最后对两层的输出加权求和，并使用sigmoid函数对结果进行归一化，获得t时刻节点的总输出ot，即第t帧的上下文信息。5.根据权利要求4所述的基于GRU网络的视频摘要生成方法，其特征在于，在所述步骤S2中，所述带有注意力机制的解码器根据在编码器获得的每个视频帧的上下文信息oi，结合解码器每个时刻的状态，求得下一时刻的注意力信息，即context向量；context向量反映了对当前视频帧最相关的信息，具体获得过程为：2CN112468888A权利要求书2/4页其中，e(oi,sj)是相关度函数，衡量当前帧与解码器状态的相关度，采用的相关度函数是e(o,s)＝Xtanh(Yh+Zs)，X，Y，Z是模型参数；αi,j表示每一帧i对第j帧的注意力权重；计算得到context向量后，对解码器每一时刻的重要性得分p进行计算，j+1时刻的状态sj+1以及j+1时刻的重要性得分pj+2计算公式具体为：sj+1＝fGRU(pj+1,concat(sj,contextj))；pj+2＝sj+1；其中，concat()表示将两个向量或矩阵进行拼接。6.根据权利要求5所述的基于GRU网络的视频摘要生成方法，其特征在于，在所述步骤S3中，获