基于流形特征的镜头边界检测后处理算法.doc

基于流形特征的HYPERLINK"http://www.scitlion.com/"镜头边界检测后处理算法
HYPERLINK"http://www.scitlion.com/"镜头是视频分析和检索的基础,为了有效检测镜头边界,并对镜头边界进行分类,提出一种新的
HYPERLINK"http://www.scitlion.com/"镜头边界描述子:镜头边界流形􀀂视频流可以看做一个高维空间,镜头边界流形是隐含在该空间中的局
部结构,它能够有效区分镜头边界和非镜头边界,以及区分不同类型的镜头边界􀀂采用这种特征,提出
一种后处理算法,一方面去除预检测镜头边界的虚警,另一方面将真正的镜头边界分类􀀂实验结果证实
了镜头边界流行的有效性以及后处理算法的优异性能􀀂
关键词􀀁镜头边界检测;HYPERLINK"http://www.scitlion.com/"镜头边界检测后处理;镜头边界分类;拉普拉斯特征映射
中图法分类号􀀁TP181;TP37
􀀁􀀁随着多媒体技术的发展,对海量的视频数据进
行索引和检索已成为一个重要的研究课题􀀂视频通
常是无结构的流,为了方便对视频内容进行分析处
理,Rui等人[1]提出将视频流按内容进行层次划分,
从高层到低层分别为视频(video)、场景(scene)、镜
头组(group)、镜头(shot)和关键帧(keyframe)􀀂镜
头是指摄像机从打开到关闭的过程中记录下来的一
组连续的帧图像,它是组成视频的基本物理单位,视
频索引和检索就建立在镜头边界检测的基础上􀀂
由于视频后期剪辑制作不同,镜头边界大致分
为两类:切变(cut)和渐变(gradual)􀀂渐变镜头边界
又分很多种,主要包括淡入淡出(fadein􀀁out)、溶解
(dissolve)和擦变(wipe)􀀂镜头边界的类型能提供更
多高层语义,比如,一段排球比赛中,直播镜头与回
放镜头之间的切换常常使用擦变􀀂检索回放镜头时
可以在擦变镜头中寻找,大大缩小了检索范围􀀂因
此,镜头边界分类对于视频分析与检索有重要价值􀀂
文献[2􀀁3]对多种镜头边界检测算法进行了比
较􀀂以往检测算法的要点包括两个方面:一是特征
(feature)及度量(metric);二是针对度量的决策算法􀀂
特征用来刻画视频流中每一帧的视觉内容特性,可
以是颜色[4]、边缘[5]或者压缩域上的参数[6]
;度量
用来刻画视频流中帧与帧之间的特征变化,文献[7]
对多种度量进行介绍并比较了它们的性能􀀂决策算
法的任务则是根据度量采取一定策略和算法检测出
HYPERLINK"http://www.scitlion.com/"镜头边界􀀂
在现有的镜头边界检测算法中,采用的特征有
像素值(灰度值或颜色值)、直方图以及MPEG压缩
域上的参数􀀂衡量帧间差异最简单的度量方法是计
算两帧基于像素点的距离,但该方法对运动敏感,容
易造成误检􀀂直方图描述的是图像的全局信息,一
定程度上可以减小运动对检测的影响􀀂由于目前多
数视频采用MPEG压缩标准,直接在压缩域上提取
特征可以提高检测速度,常用的压缩域特征包括DC
图[8]、运动向量、预测宏块数、宏块的类型信息[6]等􀀂
现有的针对度量的决策算法包括全局阈值法、自适
应阈值法、双阈值比较法[9]、基于统计的决策算法􀀂
全局阈值法对整段视频序列采用一个全局阈值,这
种方法最简单直接,但鲁棒性差,对于不同类型的视
频片段或同类型视频的不同时间片段需要设置不同
的阈值􀀂自适应阈值法利用一个滑动窗口,统计该
窗口内视频的局部特性,根据统计特性设定动态阈
值􀀂以上两种方法适用于检测突变镜头,不能对渐
变镜头进行准确定位􀀂文献[9]提出的双阈值比较
法能够检测出渐变镜头的起始和终止位置,但不能
区分缓变镜头边界的具体类型􀀂
本文把视频看做图像在时间轴上展开的一个高
维空间,空间中的各点在时间轴上是局部相关的􀀂
镜头发生切换时,高维空间的点呈现特有分布,这种
相关性分布可以看做一个低维的流形嵌入在高维空
间中􀀂我们采用流形学习的方法[10]把它提取出来刻
画不同类型的镜头边界,以这种特征为基础,提出一
种基于学习的镜头边界检测后处理方法􀀂
1􀀁镜头边界类型分析
HYPERLINK"http://www.scitlion.com/"镜头边界的编辑效果有很多种,主要包括切变
和渐变,渐变镜头边界又可以分为溶解、淡入淡出和
擦变􀀂以下给出它们的数学模型􀀂公式中,S􀀁(x,y,
t)表示镜头发生切换时镜头边界的各帧,􀀁表示镜
头边界的类型,S1(x,y,t)和S2(x,y,t)分别表示
切换前的HYPERLINK"http://www.scitlion.com/"镜头和切换后的镜头􀀂
1)切变:两_L___謃个HYPERLINK"ht