基于视频的面部识别方法.pdf

(19)中华人民共和国国家知识产权局

(12)发明专利说明书

(10)申请公布号CN1866270A
(43)申请公布日2006.11.22

(21)申请号CN200510070919.9

(22)申请日2005.05.17

(71)申请人香港中文大学
地址中国香港新界

(72)发明人汤晓鸥

(74)专利代理机构北京英赛嘉华知识产权代理有限责任公司

代理人王达佐

(51)Int.CI
G06K9/00

权利要求说明书说明书幅图

(54)发明名称
基于视频的面部识别方法

(57)摘要
本发明提供了一种新的利用音频辅
助的视频对视频的面部识别方法。该方法
首先对视频图像进行时间和空间同步，然
后对所述视频图像进行多级子空间分析，
对经时间和空间同步的面部数据立方体进
行处理，以提取被识别者的面部特征。本
发明的方法主要优点是充分利用了视频序
列中可用的信息比单个的图像多的特点，
最大程度地利用了视频序列中的大量信
息，并同时克服了处理速度和数据规模的
问题。而且，本方法能保留所有包含在视

频序列中的空间－时间信息，在XM2VTS
面部视频数据库中获得了近乎完美的分类
结果。

法律状态

法律状态公告日法律状态信息法律状态

权利要求说明书

1.基于视频的面部识别方法，包括：

1)确定被识别的视频序列和参考图像库的视频序列中对应的多个相似的视频帧；

2)对所述被识别的视频序列和参考图像库的视频序列中的对应的相似视频帧进行基
准点的对准；

3)从所述被识别视频序列中的经过基准点对准后的多个视频帧构成被识别者的面部
数据立方体；和

4)对所述面部数据立方体进行子空间分析，提取被识别者的面部特征，与所述参考
图像库中的面部特征向量进行比较。

2.根据权利要求1所述的方法，其特征在于，使用Gabor小波特征对所述视频帧进
行基准点的对准。

3.根据权利要求1所述的方法，其特征在于，所述对面部数据立方体进行子空间分
析包括：

3-1)从所述面部数据立方体的每一帧组成的特征片中提取判别特征向量；

3-2)将提取的所述每个特征片的判别特征向量依次相连，组成新的特征向量；和

3-3)消除所述新的特征向量中的冗余信息，得到反映被识别者的面部特征的最终的
特征向量。

4.根据权利要求3所述的方法，其特征在于，所述步骤3-1)包括：

对于每个特征片执行第一级子空间分析，包括：

3-1-1)将每个所述特征片投影到根据该特征片的训练集确定的PCA子空间；

3-1-2)从所述PCA子空间确定类内子空间；

3-1-3)确定参考图像库中的个体的训练数据类的中心，将所有的类中心投影到所述
类内子空间；

3-1-4)利用所述类内子空间的类内特征值对投影进行归一化，以确定白化的特征向
量；

3-1-5)对所述所有类的所述白化的特征向量中心组成的空间进行PCA处理，确定判
别特征向量。

5.根据权利要求4所述的方法，其特征在于，所述步骤3-3)包括：

在对每个特征片执行第一级子空间分析后，进行第二级子空间分析，包括：

对所述新的特征向量进行PCA处理，选取具有大特征值的多个特征向量，形成用
于识别的最终特征向量。

6.根据权利要求1所述的方法，其特征在于，所述对面部数据立方体进行子空间分
析包括：

3-1)从所述面部数据立方体的每一帧组成的特征片中提取判别特征向量；

3-2’)在基于帧的分类器中用所述判别特征向量来对每一帧进行识别；

3-3’)使用融合规则对所述分类器的结果进行融合，对被识别的视频序列进行识别。

7.根据权利要求6所述的方法，其特征在于，所述融合规则包括：多数决投票规则，
求和规则。

8.根据权利要求1-7任一项所述的方法，其特征在于，确定被识别视频序列和作为
参考图像库的视频序列中对应的多个相似的视频帧的步骤包括：使用预定声音所产
生的音频信号的波形，选择所述被识别视频序列和作为参考图像库的视频序列中的
对应的多个相似帧。

9.根据权利要求8所述的方法，其特征在于，从所述音频信号的波形中选择包括以
下参数中的一种为基准，来选取所述视频帧：音频波形的峰值、音频波形的波谷，
每个单词音频区的中心点。

10.根据权利要求8所述的方法，其特征在于，进一步包括对被识别者在被识别时
发声的内容进行识别，或/和

对被识别者的声调特性进行识别。

11.基于视频的面部识别方法，包括：

从被识别的视频序列中的每一帧组成的特征片中提取判别特征向量；

将提取的所述每个特征片的判别特征向量依次相连，组成新的特征向量；和

消除所述新的特征向量中的冗余信息，得到反映被识别者的面部特征的最终的特征
向量。

12.根据权利要求11所述的方