基于显著性区域的视频关键帧提取方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN108921130A(43)申请公布日2018.11.30(21)申请号201810836824.0(22)申请日2018.07.26(71)申请人聊城大学地址252000山东省聊城市东昌府区湖南路1号(72)发明人冯德瀛张来刚赵颖楚晓华(74)专利代理机构济南鼎信专利商标代理事务所(普通合伙)37245代理人曹玉琳(51)Int.Cl.G06K9/00(2006.01)G06K9/46(2006.01)G06K9/38(2006.01)权利要求书2页说明书5页附图1页(54)发明名称基于显著性区域的视频关键帧提取方法(57)摘要本发明公开一种计算机图像处理和模式识别技术领域的基于显著性区域的视频关键帧提取方法，首先对视频数据进行采样转换，将视频转换为连续的帧图像序列，然后在每帧图像中利用频谱残差模型提取显著性区域，接着根据图像中显著性区域的面积将其排序，并对排序靠前的显著性区域进行颜色矢量化，最后在前后帧图像之间根据矢量化后的显著性区域进行相似性度量，根据相似度的大小确定视频关键帧。本发明提取出的关键帧图像序列，可以有效地保留视频的主要内容。CN108921130ACN108921130A权利要求书1/2页1.基于显著性区域的视频关键帧提取方法，其特征在于，具体包括如下步骤：步骤一、对视频数据进行采样转换，将视频转换为连续的帧图像序列；步骤二、在每帧图像中利用频谱残差模型提取显著性区域；步骤三、根据图像中显著性区域的面积将其排序，并对排序靠前的显著性区域进行颜色矢量化；步骤四、在前后帧图像之间根据矢量化后的显著性区域进行相似性度量，根据相似度的大小确定视频关键帧。2.如权利要求1所述的基于显著性区域的视频关键帧提取方法，其特征在于，在步骤一中，根据视频包含的总帧数和帧率，设定视频采样频率，并根据采样频率将视频转换为一组连续的帧图像序列；在视频数据中，总帧数为NT，帧率为nf，采样频率为ns，则采样后的连续帧图像序列为其中3.如权利要求1所述的基于显著性区域的视频关键帧提取方法，其特征在于，在步骤二中，对每帧图像在频域内进行傅里叶变换，计算得出频谱残差，进而在时域内根据傅里叶反变换提取图像中的显著性区域，具体步骤包括：1)在频域内对第i帧图像Ii进行傅里叶变换，得出变换后的幅度谱A(f)和相位谱P(f)，其中进而计算出对数幅度谱L(f)，其中L(f)＝log(A(f))；2)设定一个n*n的局部均值滤波器hn(f)，与对数幅度谱L(f)进行卷积，进而计算出频谱残差R(f)，其中R(f)＝L(f)-hn(f)*L(f)；3)在时域内对频谱残差R(f)进行傅里叶反变换，并采用高斯滤波器g(x)进行平滑，从而得出图像Ii对应的显著性区域Si，其中4.如权利要求1所述的基于显著性区域的视频关键帧提取方法，其特征在于，在步骤三中，根据显著性区域的面积，在图像中将显著性区域按照从大到小的顺序进行排序，利用排序靠前的多个显著性区域，判断前后帧图像的相似性，针对每个显著性区域，分别在R、G、B三个通道进行颜色矢量化，生成对应的颜色矢量，具体步骤包括：1)在第i帧图像Ii中，提取到的显著性区域表示为其中是图像Ii中第r个显著性区域，对显著性区域Si按照面积从大到小的顺序进行排序，取出排序靠前的前z个显著性区域S′i，表示为2)对显著性区域S′i中第r个显著性区域分别在R、G、B三个通道、灰度值为0到255的区间内进行直方图统计，生成对应的颜色矢量和进而生成与第r个显著性区域对应的颜色矢量相应地，显著性区域S′i对应的颜色矢量5.如权利要求1所述的基于显著性区域的视频关键帧提取方法，其特征在于，在步骤四中，在前后帧图像之间通过显著性区域对应的颜色矢量进行相似性度量，如果相似度较小，则前后帧图像包含的内容差异较大，确定为关键帧，反之，如果相似度较大，则前后帧图像2CN108921130A权利要求书2/2页包含的内容差异较小，从帧图像序列中剔除，在所有帧图像中完成相似性度量后，剩余的帧图像即为视频对应的关键帧序列，具体步骤包括：1)为了判断第i帧图像Ii和第i+1帧图像Ii+1的内容相似度，在它们对应的颜色矢量Vi和Vi+1之间进行余弦相似性度量，由于矢量Vi由z个分矢量所组成，进而矢量Vi和Vi+1之间的相似性度量就转化为z个对应分矢量和之间的相似性度量，可以表示为2)在z个对应分矢量和相似性度量完成后，可以得到z个相似性度量值，如果相似度较大，则说明前后帧图像中的显著性区域和包含的内容相似，如果相似度较小，则说明和包含的内容差异较大，对于帧图像Ii和Ii+1之间的整体相似度，取z个相似度中的最小值，可以表示为从而可以反映出前后帧图像包含内容的差异性；3)在计算出帧图像I