多特征融合的新闻视频摘要提取方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN105516802A(43)申请公布日2016.04.20(21)申请号201510807865.3H04N21/8549(2011.01)(22)申请日2015.11.19(71)申请人上海交通大学地址200240上海市闵行区东川路800号申请人上海神州数码有限公司(72)发明人蒋兴浩孙锬锋王娟姜华郁聪(74)专利代理机构上海汉声知识产权代理有限公司31236代理人郭国中(51)Int.Cl.H04N21/44(2011.01)H04N21/4728(2011.01)H04N21/845(2011.01)权利要求书2页说明书8页附图3页(54)发明名称多特征融合的新闻视频摘要提取方法(57)摘要本发明提供了一种多特征融合的新闻视频摘要提取方法，其对原始新闻视频利用镜头分割和镜头标定获得新闻视频基本处理单元。就静态视频摘要，对新闻基本处理单元采用角点检测、颜色滤波和形态学分析进行主题字幕检测，再结合人脸识别和聚类获得新闻主要人物信息；就动态视频摘要，对新闻基本处理单元进行静音分析，得到静音段，然后判定每个静音段是否包含主题字幕，如果有，则将其加入到最终的动态摘要序列，反之亦然；从而得到有意义的高语义动态和静态视频摘要。本发明能获得的静态摘要，可灵活地浏览和组织视频内容；并能获得的动态摘要，包含丰富的多媒体信息能清晰地表达原始视频内容，更具有娱乐性和观赏性。CN105516802ACN105516802A权利要求书1/2页1.一种多特征融合的新闻视频摘要提取方法，其特征在于，包括如下任一个或任多个步骤：获取新闻基本处理单元步骤：从新闻视频中提取新闻基本处理单元；检测主题字幕帧步骤：从新闻视频中提取主题字幕帧；检测静音段步骤：从新闻视频中提取静音段；检测人脸步骤：从新闻视频中提取人脸。2.根据权利要求1所述的多特征融合的新闻视频摘要提取方法，其特征在于，所述新闻基本处理单元是指，一段以主持人镜头出现为开始时刻，中间时段包含内容镜头，并以下一个主持人镜头出现的开始时刻作为结束时刻的视频片段。3.根据权利要求2所述的多特征融合的新闻视频摘要提取方法，其特征在于，所述获取新闻基本处理单元步骤包括镜头分割步骤，其中，所述镜头分割步骤，包括如下步骤：根据如下计算式得到D(i,j)：其中，D(i,j)表示第i帧与第j帧的差异，N表示新闻视频帧灰度级的数量，fi,k表示第i帧新闻视频中第k级灰度的像素个数，fj,k表示第j帧新闻视频中第k级灰度的像素个数，第i帧与第j帧为前后两帧；i、j为正整数；如果第i帧与第j帧的差异D(i,j)大于指定阈值Tshot，则认为存在镜头边界，将第j帧与设定的主持人模板进行匹配；若第j帧与设定的主持人模板匹配，则将第j帧作为新闻基本处理单元的起始帧。4.根据权利要求1所述的多特征融合的新闻视频摘要提取方法，其特征在于，所述检测主题字幕帧步骤，包括如下步骤：设置新闻视频帧的感兴趣区域；对各个新闻视频帧的感兴趣区域，采用Harris角点检测算子进行角点检测以获取感兴趣区域中的角点，根据角点得到待融合主题字母区域；将各个新闻视频帧的感兴趣区域中满足如下条件的区域提取为蓝色区域：100≤Hue≤2600.33≤Saturation≤1对提取到的蓝色区域提取矩形外轮廓，其中，Hue表示色调，Saturation表示饱和度；将符合如下条件的矩形外轮廓所属的新闻视频帧确认为主题字幕帧，并将不符合如下条件的矩形外轮廓所属的新闻视频帧确认为伪主题字幕帧：Height≥Theight其中，Height表示矩形外轮廓的高度，Theight表示设定的高度阈值，ContourAreamax为各个新闻视频帧中矩形外轮廓中的最大轮廓面积，ContourAreamax-1为各个新闻视频帧中矩形外轮廓中的第二大轮廓面积，Tcontour表示设定的比例阈值；将角点检测得到的待融合主题字母区域与主题字幕帧中矩形外轮廓的内部区域进行2CN105516802A权利要求书2/2页图像融合，得到候选主题字幕区域；以矩形结构元素对候选主题字幕区域进行形态学膨胀操作，得到待鉴别文本连通域；将符合如下条件的待鉴别文本连通域认为是伪文本块，将不符合如下条件的待鉴别文本连通域认为是文本块：Areatext≤TareaRatiotext≤Tratio其中，Areatext表示待鉴别文本连通域的面积，Tarea表示设定的面积阈值，Ratiotext表示待鉴别文本连通域的宽高比，Tratio表示设定的宽高比阈值。5.根据权利要求4所述的多特征融合的新闻视频摘要提取方法，其特征在于，所述根据角点得到待融合主题字母区域，具体为：将角点连线划定出待融合主题字母区域。6.根据权利要求1所述的多特征融合的新