最小二乘法及其应用.ppt

第三章最小二乘法及其应用最小二乘法是求解最优化问题的一种有效而方便的方法。信号处理中有许多问题可归结为最优化问题，因此最小二乘法是信号处理的重要工具之一。
希尔伯特空间中线性逼近问题的求解方法称为最小二乘法。通常它有三种不同的表现形式：投影法、求导法和配方法。下面来分别说明。设X为希尔伯特空间，为X中一组归一化正交元素，x为X中的某一元素。在子空间中求一元素m。使得第二章中的投影定理指出了最优系数应满足这种求解方法称为投影法，它是最小二乘法的第一种表现形式。第二种方法是求导法，仍以上面的问题为例来说明。记泛函其中。于是最优的应满足

即以上三种方法都称为最小二乘法。在实际应用中，他们各有各的优势和缺陷，我们并不能通过简单的比较来说明他们谁优谁劣，因为衡量一种方法好坏的标准是多方面的。因此，在不同的场合根据不同的需要和可能，灵活选择和使用合适的方法，是掌握最小二乘法的关键。利用令导数等于零来求函数的极值是一种方便的方法。但是对于多元函数，有时由于变元太多而使表达式相当繁复，为此，本节介绍用向量-矩阵的形式来简化求导过程。
下面举例个例子来具体说明。
例3-2-1求矛盾方程组Ax=b的最小二乘解（可参阅第二章的相关例题）解：求Ax=b的最小二乘解就是求
的极小点。由于利用式（3-2-1）和（3-2-2）可以立即得到可以看出，需要说明的是，算符只有作用在关于
的标量函数上才有意义。例如对于二次型

由于，故设有如图3-3-1所示的系统T。当输入n个数据时，输出为y，且有下列线性关系：现设进行了m次观测，观测值为
和若记及

则方程（3-3-2）成为进而考察多输入多输出的情形。关系式为

其中则系统的辨识问题就是求A使之满足问题（3-3-9）可以用配方法来求解：矩阵的范数定义为式（3-3-12）的形式与（3-3-9）类似，但应注意在此处是标量函数。她可以完全类似于式（3-3-10）那样来配方而求解，也可体用求导法来求解。由于数据压缩是指在传输或存储信号时对信号数据量进行压缩。实际中的信号往往都是维数很高的随机数据向量。各种数据间的相关性也很大，简单的随意压缩会导致数据严重失真。按照最优化原则设计的数据压缩技术可以解决通讯和数据传输系统的信道容量不足和计算机存储容量不足的问题，因而是一种从容量方面提高系统使用效率的重要技术。下面向大家介绍一种有效的数据压缩方法。其思想是对信号作正交变换，根据失真最小的原则在变幻域进行压缩。其框图如下所示。其中变幻矩阵T的列向量为

满足我们的问题是：如何选取变幻矩阵T和常数，y的那些分量被压缩掉，才能使最接近x，即均方误差最小：由此式可知，要使达到最小，应有其中是随机向量x的协方差阵。由式（3-3-22）可考虑如何选择T的行向量
使达到极小。注意到是归一化正交的。为求在条件下的极值，令这表明是协方差阵的特征值，而是相应的特征向量，很显然,T取成x的卡享南-洛厄维变换是最合理的，此时的最小均方误差为根据此式，我们可先把非负定矩阵的特征值按大小次序排列，

然后根据实际问题对均方误差的要求选择m，使得小于指定的误差（即选择满足此条件的最小的m），把n-m个较小的特征值所对应的换成。特别地，如果取E{x}=0(通常的信号经过预处理后可满足此条件），则取，至此，前面提出的问题便全部解决。由于卡享南-洛厄维变换需要知道矩阵的特征值和特征向量，其计算量非常大，因此在实际应用中通常都使用固定程式的有限正交变换。尽管这些变换不是最佳的，但实践和理论表明它们也都能在较大程度上消除随机向量诸分量间的相关性，而且由于它们具有快速算法，因而是实用的。卡享南-洛厄维变换是理论上的最佳变换，它可作为理论研究的工具，也可用来衡量其他变换优劣的标准。设有随机向量，它含有真实信号及噪声，如下述模型所示：要使相应的输出成为真实信号s的最佳估计，即均方差最小：

求滤波器矩阵A，其中T是正交变换。利用表3-2-2中的公式2和3，得到设信号与噪声的均值为零：E{x}=0；
E{v}=0；真实信号与噪声不相关：
；并记真实信号s与噪声v的自相关矩阵为

则于是式（3-3-29）便成为

这就是维纳滤波器矩阵。又一次得到了式（3-3-29），而且得到了最小误差：注意到的表达式中不出现正交变换T，由此可知维纳滤波与正交变换的选取无关。于是由式（3-3-30）联想到若取T使得矩阵A呈对角型，则将使矩阵乘向量的计算量由降低到n。这种想法是有实际意义的。如在图象处理中，（3-3-25）是一个典型的失真模型。若选T为傅立叶变换，则A便成为对角型矩阵。这样的维纳滤波器称为对角线维纳滤波器。模式识别问题是设计一种分类器，使之能自动地将类别未知的对象进行归类。需要归类的对象称为模式。
本节来介绍模式分类器的一种设计方法。一个需要识别的对象可以用向量来表