视频检索技术(视频、摘要、智能分析).doc

【摘要】视频检索把图像检索、模式识别、图像数据库技术等技术成果结合了起来,有着广阔的HYPERLINK"http://www.studa.net/fazhan/"发展前景,并将在许多领域中道得到应用。本文概述了视频检索的发展HYPERLINK"http://www.studa.net/lishi/"历史和研究状况,给出当前视频检索领域主要的研究方法和策略,介绍了基于DCT压缩域图像检索新方案。进一步结合视频检索自身的特点和难点,提出了今后视频检索研究的重点和方向。【关键词】视频检索;图像特征;DCT压缩域图像视频检索就是要从大量的视频数据中找到所需的视频片断。根据给出例子或是特征描述,系统就能够自动的找到所需的视频片断点,即实现基于内容的视频检索。根据提交视频内容的不同,视频检索一般分为镜头检索和片段检索。一般来说,片段的概念等价于场景的概念,也是由一连串语义相关的连续镜头构成,不同的是,片段可以是一段完整场景的部分或者全部。目前视频检索的多数研究还集中在镜头检索上。而片段检索方面的研究则刚刚开始。实际上,从用户的角度分析,他们对视频数据库的查询通常会是一个视频片段而很少会是单个的物理镜头。从信息量的角度分析,由几个镜头组成的视频片段有比单个镜头更多的语义,它可以表示用户感兴趣的事件,因此,查询的结果也比较有意义。例如在新闻中检索感兴趣的事件、电影中检索喜欢的情节、HYPERLINK"http://www.studa.net/xueke/"体育节目中检索喜爱的体育运动、电视台检索某条广告是否播出等。由于视频拍摄的多样性和后期编辑的复杂性,片段的相似性有多种可能。把片段检索分为这样两种类型:(1)精确检索:要检索的片段与例子片段完全一样,具有同样的镜头和帧序列;(2)相似性检索:有这样两种情况:一种是对原视频进行了各种编辑,如插入删除帧(慢镜头快镜头)、插入删除镜头、交换帧镜头顺序等;另一种是不同拍摄的同类节目,如不同的足球比赛等。实际的视频节目一般都是这两种类型的综合,其中,相似性检索更为普遍。因此,一个好的片段检索算法,应该能够在合理的时间内同时进行这两种类型片段的检索。1视频检索的关键技术一个完整的视频检索系统的关键技术主要有:关键帧提取、图像特征提取、图像特征的相似性度量、查询方式、以及视频片段匹配等方法。1.1关键帧提取:关键帧是用于描述一个镜头的关键图像帧,它反映一个镜头的主要内容。关键帧的选取一方面必须能够反映镜头中的主要事件,因而描述应尽可能地准确完全,另一方面要便于检索。关键帧的选取方法很多,比较经典的有帧平均法和直方图平均法。1.2图像特征提取:特征提取可以针对图像内容的底层物理特征进行提取,如颜色直方图、图像轮廓特征等。特征的表示方式有三种:数值信息、关系信息和文字信息。目前,多数系统采用的都是数值信息。1.3相似性度量:在镜头检索上,早期的工作主要是从镜头中提取关键帧,把镜头检索转化为图像检索。例如通常情况下,图像的特征向量可看作是多维空间中的一点,因此很HYPERLINK"http://www.studa.net/lixue/"自然的想法就是用特征空间中点与点之间的距离来代他们的匹配程度,距离度量是一个比较常用的方法,此外还有相关HYPERLINK"http://www.studa.net/pc/"计算、关联系数计算等。此外,目前研究的问题还在于怎样对视频中的时间信息充分进行利用。在片段检索上,研究方法可以分为两类:(1)把视频片段分为片段、帧两层考虑,片段的相似性利用组成它的帧的相似性来直接度量;(2)把视频片段分为片段、镜头、帧3层考虑,片段的相似性通过组成它的镜头的相似性来度量,而镜头的相似性通过它的一个关键帧或所有帧的相似性来度量。方法(1)的缺点在于限制相似的片段必须遵守同样的时间顺序,同时这种基于每帧的比较,也使得检索速度比较慢。方法(2)的思想比较合理,但这种方法在已有的研究中并没有很好解决片段检索的问题。1.4查询方式:由于图像特征本身的复杂性,对查询条件的表达也具有多样性,使用的特征不同,对查询的表达方式也不一样。目前查询方式基本上可归纳为以下几种:底层物理特征查询、自定义特征查询、局部图像查询和语义特征查询。1.5视频片断的匹配:由于同一镜头连续图像帧的相似性,使得经常出现同一样本图像的多个相似帧的出现,因而需要在查询到的一系列视频图像中,找出最佳的匹配图像序列。已经有研究提出了最优匹配法、最大匹配法和动态规划算法等。2检索性能的评价对于视频检索系统的评价并没有一个统一的标准,我们可以通过计算一些参数来衡量。如对于视频片断我们可以通过全查率和查准率来评价;对于使用某一个基准查出的K幅图像,又可以用正确检测数、错误检测数、漏检数和正确淘汰数来表示。对于检索