一种基于多特征融合镜头聚类的视频关键帧提取方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN107220585A(43)申请公布日2017.09.29(21)申请号201710207717.7(22)申请日2017.03.31(71)申请人南京邮电大学地址210003江苏省南京市鼓楼区新模范马路66号(72)发明人张登银孙彬(74)专利代理机构南京知识律师事务所32207代理人李湘群(51)Int.Cl.G06K9/00(2006.01)G06K9/46(2006.01)G06K9/48(2006.01)G06K9/62(2006.01)权利要求书2页说明书5页附图1页(54)发明名称一种基于多特征融合镜头聚类的视频关键帧提取方法(57)摘要本发明公开了一种基于多特征融合镜头聚类的视频关键帧提取方法，属于视频内容分析领域。方法的研究是在视频镜头分割基础之上，包括以下步骤：步骤1：提取视频镜头内的一组图像帧集合，提取每帧图像的HSV直方图特征以及canny边缘轮廓特征，加权组合成关键帧聚类的特征信息；步骤2：采用自适应均值聚类方法对依次将每帧图像分类至对应聚类簇，并实时更新各聚类簇的聚类中心；步骤3：分别提取出距离各自聚类中心最近的图像帧作为各自聚类的关键帧，按时间顺序排列形成关键帧集合；步骤4：计算各关键帧的关注度指标，提取关注度指标最高的一帧为视频的代表帧。本发明方法解决了传统关键帧提取算法灵活度不高，保真度较低的问题。CN107220585ACN107220585A权利要求书1/2页1.一种基于多特征融合镜头聚类的视频关键帧提取方法，其特征在于，所属方法包括以下步骤：步骤1：提取视频镜头内的一组图像帧集合，提取每帧图像的HSV直方图特征以及canny边缘轮廓特征，加权组合成关键帧聚类的特征信息；步骤2：采用自适应均值聚类方法对依次将每帧图像分类至对应聚类簇，并实时更新各聚类簇的聚类中心；步骤3：分别提取出距离各自聚类中心最近的图像帧作为各自聚类的关键帧，按时间顺序排列形成关键帧集合；步骤4：计算各关键帧的关注度指标，提取关注度指标最高的一帧为视频的代表帧。2.根据权利要求1所述的一种基于多特征融合镜头聚类的视频关键帧提取方法，其特征在于，所述步骤1包括：A)读取视频镜头内的一组图像帧数据，将RGB信息转换成HSV信息，并进行归一化；B)对HSV三分量进行差异化量化，分别量化成16阶、8阶和2阶，并且将图像的三维颜色空间压缩到一维空间内，计算公式如下：L(i,j)＝16H(i,j)+2S(i,j)+V(i,j)(1)其中，i,j是图像的像素位置横纵坐标，H(i，j)，S(i，j)，V(i，j)是当前像素位置的HSV三个分量值；C)对图像数据L进行直方图统计，获取图像的HSV颜色直方图特征向量H；D)采用canny算子进行图像帧边缘提取，获取边缘图像数据B(i，j)；E)得到每一帧图像的多特征融合的聚类特征向量(H，B)。3.根据权利要求1所述的一种基于多特征融合镜头聚类的视频关键帧提取方法，其特征在于，所述步骤2包括：A)获取首帧图像的特征数据，新建聚类簇1号，将首帧加入聚类中，利用均值法并将首帧的特征向量设置为1号聚类簇的聚类中心；B)依次获取每一图像帧，依据公式(2)-(4)计算其与每一聚类簇中心之间的距离，选取距离最近的聚类簇，若距离小于设定的阈值，则加入该聚类簇，并更新聚类中心；否则，新建聚类簇，设置当前帧的特征向量为聚类中心的参数；D(f1,f2)＝αDc(f1,f2)+(1-α)Dv(f1,f2)(2)其中，f1，f2分别表示需要比较的两帧图像，α表示加权系数，取值为0.6，Dc表示两帧图像之间的HSV颜色特征相似度，颜色直方图包含256个颜色分量，Dv代表了边缘特征相似度，b(x,y)是通过Canny算法提取出的图像边缘特征，对Dv边缘特征的相似度进行归一化，其取值范围为0～1。4.根据权利要求1所述的一种基于多特征融合镜头聚类的视频关键帧提取方法，其特征在于，所述步骤3包括：2CN107220585A权利要求书2/2页A)所有帧分类完毕后，针对每一聚类簇，依据公式(2)分别计算聚类簇中每一帧到聚类中心的距离；B)选择距离最小的一帧作为当前聚类簇的代表帧，即为视频的关键帧，按照时间顺序依次排列关键帧，得到视频的关键帧集合KF。5.根据权利要求1所述的一种基于多特征融合镜头聚类的视频关键帧提取方法，其特征在于，所述步骤4包括：A)对于关键帧集合KF中的每一个关键帧，按照公式(5)分别计算关键帧的关注度指数；其中，Nkf代表关键帧的个数，i，j是关键帧的序号，H(i，j)表示关键帧之间的互信息量；B)选取kIndex最高的关键帧作为当前视频的关注焦点。6.根据权利要求1所述的一种基于多特征融合镜头聚类的视频关键帧提取方法，其特征