多视图特征融合方法研究.doc

多视图特征融合方法研究随着互联网技术及应用在日常生活中的广泛渗透和深入,大量的数据不断涌现,为此人们对各种媒体的呈现方式和使用便利性提出了更高要求。在大数据背景下,多模态或多视图数据从多个数据源或者不同的视角表现物体不同的特征,受到人们越来越多的关注。对于这种类型的数据,如果能找到恰当的特征融合方法,将在很大程度上提升相关任务的处理效率和效果。事实上,多视图特征融合还为小样本问题的处理带来新的思路。比如,从少量样本中抽取出不同类型的特征,从多视图的角度对其进行处理。从本质上来说,这种思路相当于扩充了样本。本文围绕多视图特征融合方法展开研究,具体工作包括:(1)提出基于支持值变换(SVT:SupportValueTransform)的多视图特征反向融合方法,该方法利用SVT,提取人脸图像的多视图特征进行反向融合得到人脸图像的低频表示(LFR:Low-FrequencyRepresentation)。所提方法直接作用于二维图像矩阵,从而避免了特征提取之前图像矩阵转换为一维向量时的信息损失。在两个公开的人脸数据库ORL和UMIST上的实验结果表明了所提方法对于不同光照条件下的人脸图像或小样本图像提供了较好的识别效果。(2)提出基于区域协方差的多视图李群特征融合方法,该方法将图像区域协方差作为图像特征,即将所关注图像区域的统计特征的协方差作为该区域的描述子。区域协方差特征计算维度小,其计算成本独立于图像区域尺寸。此外,区域协方差方法能够吸收图像的旋转及光照变化带来的影响。然而,协方差矩阵不属于欧氏空间,不能使用已有的经典机器学习算法。因此,本文提出了一种基于区域协方差的多视图李群特征融合方法,该方法充分利用李群结构的复杂数据表示和距离计算能力,能有效解决复杂高维图像的特征融合及分类问题。在多种公开数据集上实验验证,所提方法具有较好的效果。(3)提出基于联合非负矩阵分解的鲁棒多视图特征融合方法。在实际应用场景中,数据通常包含较多噪声,会影响多视图学习的性能。鉴于联合矩阵分解(CMF:CollectiveMatrixFactorization)在多视图学习领域中的成功运用,本文提出一种鲁棒的联合非负矩阵分解模型(RCNMF:RobustCollectiveNon-negativeMatrixFactorization),该模型在特征融合的同时考虑去噪处理,从而能找到尽量不受噪声影响的融合子空间。基于多个公开数据集,实验验证了该方法的有效性。(4)提出基于双邻接图的监督正交投影特征提取方法。经典的多视图子空间算法假定各视图均源自于同一共享隐子空间。为了不依赖于该假定,本文提出了基于双邻接图的监督正交判别投影方法(SODP-DAG:SupervisedOrthogonalDiscriminantProjection-DoubleAdjacencyGraphs)对数据进行降维。该方法根据Fisher判别准则,考虑到类间和类内散度对于图像分类的不同价值,解决了正交判别投影方法中只考虑局部散度最小化的问题。所提方法利用双邻接图,把局部散度进一步划分为局部类间散度和局部类内散度两部分。这样,能够在保持原始数据局部结构的情形下找到有效的判别投影方向。此外,利用热核函数设计了四种方案进行权重矩阵的构造以便于进一步处理多视图特征的融合。为了验证该方法的有效性,在多种公开数据集上,将其与相关方法进行对比,实验结果显示了所提方法的可行性和有效性。