FISHER线性判别必看.doc

3·4Fisher线性判别
多维ÞFisher变换Þ利于分类的一维
对于线性判别函数
(3-4-1)
可以认为是矢量在以为方向的轴上的投影的倍。这里，视作特征空间中的以为分量的一个维矢量
希望所求的使投影后，同类模式密聚，不同类模式相距较远。
求权矢量Þ求满足上述目标的投影轴的方向和在一维空间中确定判别规则。
从另一方面讲，也是降维，特征提取与选择等问题的需要。（R.A.Fisher，1936）
下面我们用表示待求的。

图(3-4-1)二维模式向一维空间投影示意图

（1）Fisher准则函数
对两类问题，设给定维训练模式，其中有个和个模式分属类和类。为方便，各类的模式又可分别记为和，于是，各类模式均值矢量为
(3-4-2)
各类类内离差阵和总的类内离差阵分别为
(3-4-3)
(3-4-4)
我们取类间离差阵为
(3-4-5)
作变换，维矢量在以矢量为方向的轴上进行投影
(3-4-6)
变换后在一维空间中各类模式的均值为
(3-4-7)
类内离差度和总的类内离差度为

(3-4-8)
(3-4-9)
类间离差度为
(3-4-10)
我们希望经投影后，类内离差度越小越好，类间离差度越大越好，根据这个目标作准则函数
(3-4-11)
称之为Fisher准则函数。我们的目标是，求使最大。
（2）Fisher变换
将标量对矢量微分并令其为零矢量，注意到的分子、分母均为标量，利用二次型关于矢量微分的公式可得
(3-4-12)
令
可得
当时，通常是非奇异的，于是有
(3-4-13)
上式表明是矩阵相应于本征值的本征矢量。对于两类问题，的秩为1，因此只有一个非零本征值，它所对应的本征矢量称为Fisher最佳鉴别矢量。由式(3-4-13)有
(3-4-14)
上式右边后两项因子的乘积为一标量，令其为，于是可得

式中为一标量因子。这个标量因子不改变轴的方向，可以取为1,于是有
(3-4-15)
此时的是使Fisher准则函数取最大值时的解，即是维空间到一维空间投影轴的最佳方向，
(3-4-16)
称为Fisher变换函数。至此可以说解决了将维模式的分类转变为一维模式分类的问题。
（3）Fisher判别规则
由于变换后的模式是一维的，因此判别界面实际上是各类模式所在轴上的一个点。可以根据训练模式确定一个阈值，Fisher判别规则为
(3-4-17)
判别阈值可取两个类心在方向上轴的投影的连线的中点作为阈值，即
(3-4-18)
容易得出
(3-4-19)
显然，这里是和连线的中点。
当考虑类的先验概率时，、应取下面的定义
(3-4-20)
(3-4-21)
、可由训练模式估计
(3-4-22)
这种情况下，应取以类的频率为权值的两类中心的加权算术平均作为阈值，即
(3-4-23)
易得
(3-4-24)
这里的是和连线上以频率为比例的内分点。
由上可知，和是等价的。从而可得Fisher线性判别函数为
(3-4-25)
Fisher判别规则为
(3-4-26)
我们取第一种门限，可以写出具体的判别规则如下：
(3-4-27)
由上可知，在使取最大的条件下线性判别函数权矢量以及判别门限的确定即Fisher判别只需要一、二阶矩(或它们的估计)。可以证明，当训练模式数足够大时，在使取最大的目标下，Fisher线性判别与正态等协方差阵情况下的Bayes判决是等价的。
上述处理问题的思想也可以应用于多类问题。