模式识别特征选择.ppt

特征提取与选择--模式识别课程提纲一、图像的特征提取模式识别的三大核心问题:
通常在得到实际对象的若干具体特征之后，再由这些原始特征产生出对分类识别最有效、数目最少的特征，这就是特征提取与选择的任务。从本质上讲，我们的目的是使在最小维数特征空间中异类模式点相距较远（类间距离较大），而同类模式点相距较近（类内距离较小）。图像的特征提取（2）变换法：在使判据J取最大的目标下，对n个原始特征进行变换降维，即对原n维特征空间进行坐标变换，然后再取子空间。(c)是具有分类能力的特征，故选(c)，扔掉(a)、(b)。[法2]：①特征抽取：测量
物体向两个坐标轴的投影
值，则A、B各有2个值域区
间。可以看出，两个物体的
投影有重叠，直接使用投影
值无法将两者区分开。二、模式类别可分性度量模式类别可分性度量(3)判据具有“距离”的某些特性基于几何距离的可分性判据(一)点与点的距离(三)类内及总体的均值矢量(八)多类情况下总的类内、类间及总体离差矩阵(八)多类情况下总的类内、类间及总体离差矩阵（续）(八)多类情况下总的类内、类间及总体离差矩阵（续）(八)多类情况下总的类内、类间及总体离差矩阵（续）(八)多类情况下总的类内、类间及总体离差矩阵（续）、基于类的概率密度函数的可分性判据可用两类概密函数的重叠程度来度量可分性，构造基于类概密的可分性判据。此处的所谓重叠程度是指两个概密函数相似的程度。((（二）基于类的概率密度函数的可分性判据Jc性质（1）证明：Jc性质（1）证明：Jc性质（2）证明：Jc性质（2）证明：Jc性质（6）证明：由JB和JC的定义知：JB=JC(1/2)(三)散度JD(Divergence)(三)散度JD(Divergence)(三)散度JD(Divergence)对于i和j两类总的平均可分性信息称为散度，其定义为两类平均可分性信息之和，即当两类都是正态分布时：散度具有如下性质：一般情况下，散度与误分概率(或其上下界)之间的直接解析关系很难得到，但实验可以证明它们之间存在着单调关系。例如两类都是正态分布，且有相同的协方差阵时，是的单调减函数。对于c类问题，可采用平均B-判据、C-判据、D-判据：大盖小问题这样，当i和j两类模式相距很远时，JD(i,j)变得很大，但也只能接近于1。但对于散度JD(i,j)小的情况，又变得较敏感。于是，总的平均(变换)判据为基于后验概率的可分性判据熵的主要性质：
(1)，即是有下界的非负数。当且仅当某个i有pi=1而其余的时等号成立，即确定场熵最小。熵的主要性质：
(2)，即有上界。当且仅当时等号成立，即等概率场熵最大，识别最困难。熵的主要性质：
(2)，即有上界。当且仅当时等号成立，即等概率场熵最大，识别最困难。使熵最小的特征利于分类，取熵的期望：使用或判据进行特征提取与选择时，目标是使三、基于类可分性度量的
特征提取与选择对某类模式：压缩模式向量的维数。设设设作变换，这时对于给定的d所得到的

达最大值。此方法对J3=Tr[SB]/Tr[SW]也适用。以J4为例，由于SW是对称正定矩阵，设有非奇异阵A，使
上面右式两边同时取逆，有因为因为此处的U就是前述的We。
转换步骤：设U的各列已作适当调整，使SW-1SB的特征值1≥2≥…≥n，对于给定的d，取前d个较大的特征值对应的特征矢量构造变换矩阵可使J4取最大值，此时四、离散K-L变换及其
在特征提取与选择中的应用
特征提取与K-L变换离散K-L变换（DKLT）正交变换概念
变换是一种工具，它的用途归根结底是用来描述事物，特别是描述信号用的。例如我们看到一个复杂的时序信号，希望能够对它进行描述。描述事物的基本方法之一是将复杂的事物化成简单事物的组合,或对其进行分解，分析其组成的成分。
例如对一波形，我们希望知道它是快速变化的(高频)，还是缓慢变化的(低频)，或是一成不变的(常量)。如果它既有快速变化的成分，又有缓慢变化的成分，又有常量部分，那么我们往往希望将它的成分分析出来。这时我们就要用到变换。上式中要求ti’ti=1，是考虑到ti是作为度量事物的单位应用的，它本身的模应该为1，ti又称为某一个基。而被分解后的任何事物(在此指信号)可等成各种成分之和。故任一信号X可表示成：其中yi是基ti的相应成分。基于Karhunen-Loeve变换的特征提取方法是以在特征空间分布的样本特征向量为原始数据，通过实行K-L变换，找到维数较少的组合特征，达到降维的目的。在样本都是离散的向量的情况下，只需讨论K-L变换的离散情况。K-L变换的最佳体现在对给定一个训练样本集条件下，能使这种误差从总体上来说是最小。注意这里讲的是总体，这是因为降维以后，训练样本集中的每个样本数据都受到损失，要衡量的是总体效果。这种情况下最常用的指标是均方