4 模式识别原理课件-第5章 特征选择与提取.ppt

第5章
特征选择与特征提取5.1基本概念
5.2类别可分性测度
5.3基于类内散布矩阵的单类模式特征提取
5.4基于K-L变换的多类模式特征提取5.1基本概念(1)具有很大的识别信息量。即应具有很好的可分性。
(2)具有可靠性。模棱两可、似是而非、时是时非等不易判别
的特征应丢掉。
(3)尽可能强的独立性。重复的、相关性强的特征只选一个。
(4)数量尽量少，同时损失的信息尽量小。(c)是具有分类能力的特征，故选(c)，
扔掉(a)、(b)。[法2]：①特征抽取：测量
物体向两个坐标轴的投影
值，则A、B各有2个值域区
间。可以看出，两个物体的
投影有重叠，直接使用投影
值无法将两者区分开。5.2类别可分性测度特征选择和提取的结果应使类内散布矩阵的迹愈？愈好。类间散布矩阵的迹愈大愈有利于分类。3．多类模式向量间的距离和总体散布矩阵（5-8）得4）多类模式平均平方距离与总体散布矩阵的关系距离与散布矩阵作为可分性测度的特点：
*计算方便，概念直观（反映模式的空间分布情况）；
*与分类错误率没有直接的联系。对不同的X，似然函数不同，对数似然比体现的可分性
不同，通常采用平均可分性信息——对数似然比的期望值。散度表示了区分ωi类和ωj类的总的平均信息。（3）错误率分析中，两类概率密度曲线交叠越少，错误率越小。据此可估计每一个特征在分类中的重要性：
散度较大的特征含有较大的可分信息——保留。——两类模式之间马氏距离的平方5.3基于类内散布矩阵的单类模式特征提取讨论内容：
*根据类内散布矩阵如何确定变换矩阵A；
*通过A如何进行特征提取。——n个特征向量相互正交。(1)(3)变换后的类内距离根据以上特点得到构造变换矩阵的方法：2．特征提取的方法第四步：利用A对样本集{X}进行变换。由变换前5.4基于K-L变换的多类模式特征提取1．K-L展开式由两边左乘得。说明：当用X的自相关矩阵R的特征值对应的特征向量展开X
时，截断误差最小。K-L变换方法：2．利用自相关矩阵的K-L变换进行特征提取3．不同散布矩阵的K-L变换适用于类间距离比类内距离大得多的多类问题，选择与大
特征值对应的特征向量组成变换矩阵。2）变换后的新模式向量各分量相对总体均值的方差等于原样本
集总体自相关矩阵的大特征值，表明变换突出了模式类之间
的差异性。3）计算矩阵的本征值和本征向量缺乏统一的快速算法，给计算
带来困难。多类类内散布矩阵Sw2．散度准则5.5.2特征选择的方法使用条件：例：从5个特征中选出2个特征作为模式向量。2．次优搜索算法结束