模式识别-5--特征选择与提取.ppt

第五章特征选择与提取基本概念基本概念基本概念基本概念基本概念基本概念基本概念第四章特征选择和提取5.1模式类别可分性的测度5.1模式类别可分性的测度5.1模式类别可分性的测度5.1模式类别可分性的测度5.1模式类别可分性的测度5.1模式类别可分性的测度5.1.2散度5.1.2散度5.1.2散度5.1.2散度5.1.2散度5.1.3巴氏（Bhattacharyya）距离并记为
通常称为Bhattacharyya距离（平方）。
如果Ci=Cj就会得到更加简单的表达式

它与马氏距离平方只是差一个系数。前面给大家介绍的各种表征量，就是在于给出一个参考量，用于对类的可分性的度量5.2特征选择5.2特征选择5.2特征选择5.2特征选择5.2特征选择5.2特征选择5.2特征选择5.2特征选择5.2特征选择5.2特征选择5.2特征选择5.2特征选择5.2特征选择5.2特征选择5.3离散K-L变换5.3离散K-L变换5.3离散K-L变换5.3.1离散的有限K-L展开5.3.1离散的有限K-L展开5.3离散K-L变换5.3离散K-L变换5.3离散K-L变换5.3离散K-L变换5.3离散K-L变换5.3.2按K-L展开式选择特征5.3.2按K-L展开式选择特征5.3.2按K-L展开式选择特征5.3离散K-L变换5.3离散K-L变换5.3离散K-L变换5.3离散K-L变换5.3离散K-L变换5.4采用K－L变换的分类特征提取下面分析K-L变换的具体应用。
在本征向量选取的中不能简单丢弃，较小本征值对应的本征向量，加入到变换矩阵中会带来的影响，可能对分类也会有利的因素。
所以在特征提取时候要特别注意，保留不同类别的模式信息。单纯考虑尽可能准确的代表原来模式的成分，又是有并不一定有利于分类的鉴别，因此下面我们就选用不同的散布矩阵（因为不同的散布矩阵是从不同的角度来表示模式分布的统计特性）5.4采用K－L变换的分类特征提取（2）广义K-L变换
采用类内散布矩阵Sw做K－L变换

Sw等于各模式的协方差矩阵之和，不但包含了不同类的信息，还包括类间（类差异）的信息。
将Sw作K-L变换，得到的本征值，大本征值对应的本征向量组成的变换矩阵能突出各类模式的主要特征分量，而小本征值对应的本征向量组成的变换，经过变换后，能突出原模式总体中同一类模式所聚集的最小的特征空间范围（3）以类间距离为出发点的K－L变换
为了强调不同类别之间的差异，类别之间的平均距离是一个重要的指标，因此可以采用类间散布矩阵。

Sb1由不大于c－1个独立向量组成，只有c－1个非零本征值，通常维数n是大于类别数c，所以sb1是对称正定的，但是奇异的，同样求出sb1的本征根排成1>2>…>c-1>0,而c=…=n=0,选出m个与大本征根对应的本征向量组成的变换矩阵。（3）以类间距离为出发点的K－L变换
类间散布矩阵也可以写成更加直接的形式（c类模式中各类之间的距离平方和）

式中为类模式的自相关矩阵。
一般类间距离比类内距离要大得多的多类问题，采用类间散布矩阵比较好。若设n维原模式的类内和类间散布矩阵为Sw和，Sb,经过特征提取后得m维降维模式，它的类内和类间散布矩阵为Swm和Sbm，此时有

为所选用的变换矩阵，取迹
来计算出不同的变换矩阵的J值，J值最大者具有较好的类别可分性。这也是一个较好的测试，作为进行可分性判别的一个测度。Jz值最大者具有较好的类别可分性。例题2：
要求：试用不同的散布矩阵
作K-L变换的特征提取，并计
算相应的J值
求解：
（1）采用自相关矩阵R
（2）采用类内散布矩阵Sw
（3）采用类间散布矩阵Sb
（4）采用总体散布矩阵St从这些例子中得到一些结论：
（1）K－L变换能在最小均方误差的意义上获得最优的正交变换，能够消除模式特征之间的相关性、突出差异有很好的效果，当类别的数目很多，维数较高，性能就不是很好了。
（2）表示类之间或者类内的分布的散布矩阵很多，很难找到一个统一的某种散布矩阵作为K-L变换。
（3）正交变换的方式很多，比如我们有FFTFDCT等，但是FKLT还没有，计算量较大。作业作业