数字视频特技镜头转换检测算法的分析.docx

数字视频特技镜头转换检测算法的分析

白雪生,张子银,徐光祐,杨士强,史元春
(清华大学计算机科学与技术系人机交互与媒体集成研究所,北京100084)
E-mail:HYPERLINK"mailto:[e-mail]"\hxgy-HYPERLINK"mailto:[e-mail]"\h[e-mail]HYPERLINK"http://media.cs.tsinghua.edu.cn/"\hhttp://media.cs.tsinghua.edu.cn
摘要:随着数字设备在视频制作中的广泛应用,数字特技(DVE)也越来越多地被用于镜头转换,这就要求视频检
索能有效地对DVE镜头转换进行检测.通过对DVE镜头转换的模型和特性的分析,指出了目前基于二维时空图处理算法的局限性,进而提出了一种基于转换曲面的DVE检测算法以解决这个问题.并对在实际DVE视频上的镜头检测结果进行了分析,取得了很好的结果.
关键词:镜头检测;镜头切变;数字视频特技;时空图分析
中图法分类号:TP391
文献标识码:A
随着数字化技术的推广,数字设备在视频制作中越来越广泛的应用,数字视频特技(digitalvideoeffect,简称
DVE)也被越来越多地用于镜头间的转换.而在基于内容视频检索中,镜头的分割和检测是视频数据结构化的基础[1,2],这就提出了对DVE镜头转换的检测问题.
与镜头切变(cut)和渐变(dissolve)不同,数字特技(DVE)转换是通过后一镜头在图像域的不断扩张来完成的,故也称wipe,不同的扩张模式对应于不同的wipe模板(SMPTE定义了一系列与特定号码相对应的转换模板).目前,针对一些比较常见的wipe(如水平、垂直、对角等)已提出了一些检测算法,其绝大部分都是建立在对视频通过特定采样方案得到的二维时空图进行处理的基础上[3~5].但随着数字编辑硬件和软件功能越来越强,许多产品支持的(DVE)转换更加丰富、多样,上述基于二维时空图处理的算法已不能满足DVE镜头转换检测的需要.
在本文中,我们将通过对DVE镜头转换的模型和特性的分析,指出二维时空图处理算法的局限性——理论上对任一种采样方案(无论是单个的连续采样方案还是连续采样方案的组合)都可以设计出一种wipe模板,使得基于此采样方案的镜头检测不能将该wipe与镜头切变有效分开.在此基础上,我们提出了一种基于转换曲面的DVE检测算法,并对该算法的检测性能进行了分析.
本文第1节首先阐述DVE转换的模型和特点.第2节对二维时空图的定义和构成进行介绍,并对DVE检测算法的局限性进行分析.第3节给出了基于转换曲面的DVE检测算法,并在第4节给出了实验结果和分析.
1 数字视频特技转换的模型和特点

对DVE镜头转换分析可知,尽管不同的DVE对应于不同的模板,但它们都具有一个共同点,即转换过程中后一视频信号在帧图像中占据的区域不断扩张,面积也从0增加到整幅图像.根据这个特点,我们对DVE提出如
收稿日期:2000-11-13;修改日期:2001-02-26
基金项目:国家863高科技发展计划资助项目(863-306-ZT04-02-01;863-306-QN99-01);国家教育部博士点基金资助项目
(99000307)
作者简介:白雪生(1972－),男,辽宁辽阳人,博士,讲师,主要研究领域为基于内容检索,计算机视觉;张子银(1970－),男,黑龙江牡丹江人,硕士生,主要研究领域为基于内容检索;徐光祐(1940－),男,上海人,教授,博士生导师,主要研究领域为计算机视觉,多媒体技术;杨士强(1952－),男,山东高唐人,教授,博士生导师,主要研究领域为多媒体技术;史元春(1967－),女,河南汤阴人,博士,副教授,主要研究领域为计算机支持的协同工作,多媒体技术.

下的区域扩张模型:
记WN为一个长度为N的wipe过程,它由一个长度为N的模板序列WN{Mi,i0,1,...,N1}组成.其中Mi
为定义在二维图像平面上的点集,满足M0S,MN1,即M0为全集,MN1为空集.相邻Mi间满足关系
Mi1Mi.
(1)
根据此模型,可知DVE转换具有以下特点:
DVE转换对后一视频来说是渐进扩张性的,即图像空间上的某一像素一旦在其内容改变(为后一视频内容)后就一直播放后一视频的内容.
相对于DVE转换的区域扩张速度而言,转换前后镜头内的运动较小.
2 对二维时空图算法的分析
2.1二维时空图的定义与获取
目前,多数DVE检测算法都是针对简单、常见的几种wipe,通过对视频流采样得到的二维时空图进行处理来实现的.在此,我们首