一种具有双线性低秩子空间的线性判别分析方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN107491419A(43)申请公布日2017.12.19(21)申请号201710793137.0(22)申请日2017.09.06(71)申请人四川大学地址610065四川省成都市武侯区一环路南一段24号(72)发明人何小海苏婕卿粼波周文一王正勇吴晓红熊淑华(51)Int.Cl.G06F17/16(2006.01)权利要求书1页说明书4页附图1页(54)发明名称一种具有双线性低秩子空间的线性判别分析方法(57)摘要本发明公开了一种具有双线性低秩子空间的线性判别分析方法。包括以下步骤：针对矩阵数据样本集，保留原本矩阵的形式作为输入数据，构建基于矩阵的判别分析模型，采用基于矩阵的最小二乘方法构建损失函数，引入核范数正则项对映射矩阵集进行低秩约束，采用乘法器的交替方向算法(ADMM)框架对损失函数进行求解，以探求矩阵样本集的双线性低秩子空间，从而对矩阵样本集进行降维。本发明所述的具有双线性低秩子空间的线性判别分析方法比其他方法在矩阵样本集降维效果上有明显提升，评价指标综合表现很好。CN107491419ACN107491419A权利要求书1/1页1.一种具有双线性低秩子空间的线性判别分析方法，其特征在于包括以下步骤：p×q步骤一：针对n个矩阵数据样本集{Xi|Xi∈R,p×q＝d,1≤i≤n}(例如：图像数据、脑电图数据)，将其中的每一个数据样本以原本矩阵的形式作为输入数据；步骤二：构建基于矩阵的判别分析模型，采用基于矩阵的最小二乘方法构建损失函数Lp×q(W(1,2,…k))，通过对L(W(1,2,…k))进行迭代求解，从而得到映射矩阵集Wj∈R(j＝1,2，…k)，以探求矩阵样本集的双线性子空间，从而对矩阵样本集进行降维；步骤三：通过在损失函数L(W(1,2,…k))中加入核范数正则||Wj||*项对每个映射矩阵Wj进行低秩约束，从而获得矩阵数据样本内部的行列相关性；步骤四：假设k个Wj之间相互独立，将求解损失函数L(W(1,2,…k))的问题转化为求解k个子损失函数L(Wj)的问题，从而对k个L(Wj)分别求解；步骤五：子损失函数L(Wj)非平滑，采用乘法器交替方向算法(ADMM)框架对L(Wj)进行求解，并将原优化问题转化成两个子优化问题进行求解，经迭代后最终得到映射矩阵集，从而将原矩阵样本集映射到低秩子空间，以达到数据降维的目的。2.权利要求1的矩阵样本集都以矩阵形式输入矩阵判别分析模型，使得原始数据样本的行列相关结构信息得以保留。3.权利要求2中对矩阵判别分析模型的损失函数构建时，采用了基于矩阵的最小二乘法，避免了传统线性判别分析中特征值分解所带来的高昂计算代价，同时也避免了传统线性判别分析方法中欠采样问题。4.权利要求3中通过在损失函数L(W(1,2,…k))中对每个Wj引入核范数低秩约束，使得模型能够获得原始矩阵数据样本行列相关性信息。2CN107491419A说明书1/4页一种具有双线性低秩子空间的线性判别分析方法技术领域[0001]本发明设计了一种具有双线性低秩子空间的线性判别分析方法，涉及机器学习，数据降维，数据挖掘技术领域。背景技术[0002]随着大数据的快速发展，数据挖掘、机器学习和人工智能等相关技术得到广泛的应用。人们对数据的要求变得越来越复杂，因为人们在保存数据信息和探索数据背后的结构相关性方面有了更多的需求，这导致模型结构的复杂性和模型训练的低效性。因此，获取数据之间的相关性以减少数据冗余度和计算复杂度十分必要。[0003]减少数据冗余度的一种直观的方法是通过降维获得数据之间的结构相关性。PCA和LDA是两种常见的降维方法，被广泛用于模式识别领域中的特征提取，例如Eigenfaces和Fisherfaces，以及信号处理中的信号结构相关性分析，PCA和LDA在降维处理中已获得很大成功。[0004]PCA和LDA是通过对协方差矩阵或散列矩阵进行特征值分解，因此两者可以等效为广义特征值分解问题。经典的PCA和LDA将输入数据样本表示成向量或标量，基于这些向量进行建模，出求得映射矩阵。然而，图像、脑电图(EEG)等数据，其本身是矩阵形式，如果将其表示成为向量，会使数据维数很高。在这种情况下，经典的PCA和LDA进行特征值分解时将会变得异常困难同时引起巨大的计算量。对于LDA而言，甚至会出现欠采样问题，而导致无法求解特征值；另外，对于这类矩阵数据，将其表示成向量形式，会破坏其原有的内部行列结构信息。[0005]为了克服上述缺陷，已有研究者提出了几种基于数据矩阵的降维方法。例如IMPCA，2DPCA，(2D)2PCA，2DLDA，2D-LDA和BDCA。然而，这些成分分析方法仍然需要进行特征值分解计算，计算代价很大。由于在一定条件