经典最小二乘与全最小二乘法及其参数估计.pdf

理论新探

经典最小二乘与全最小二乘法及其参数估计

王福昌1，曹慧荣2，朱红霞2
（1.中国地震局防灾科技学院基础部，河北三河065201；2.廊坊师范学院数信学院，河北廊坊065000）

摘要：文章对经典的最小二乘和全最小二乘方法的应用背景、原理与算法进行了介绍，给出
了它们在线性模型参数估计中的MATLAB实现；通过计算机仿真说明了在模型中所有变量均具有
不可忽略的误差时，全最小二乘法得到的参数估计更接近于真实参数。
关键词：最小二乘；全最小二乘；线性模型
中图分类号：O212文献标识码：A文章编号：1002-6487（2009）01-0016-02

ΣΣΣΣ
在模型的参数估计中最常见的一种拟合准则是经典的1x11…x1PΣΣy1
，ΣΣΣb0ΣΣΣ
ΣΣΣΣΣΣ
Σ1x…xΣΣΣΣyΣ
最小二乘法，该准则下参数估计特别简单，其假设检验也容Σ212PΣΣb1ΣΣ2Σ
记X=ΣΣ，β=ΣΣ，Y=ΣΣ，则问题（1）变为
ΣΣΣΣΣΣ
Σ…………Σ…Σ…Σ
易进行。值得指出的是，经典的最小二乘法要求解释变量均ΣΣ
ΣΣΣΣΣΣ
ΣΣΣΣΣΣ
1x…xΣbPΣy
为精确无误差的，或其测量误差与模型的因变量的测量误差Σn1nPΣΣnΣ
相比可以忽略不计所有误差均来自于因变量这在很多情n
，，2T
Q2=Σεi=||Y-Xβ||2=(Y-Xβ)(T-Xβ)（2）
形下是不能满足的，因而人们提出了考虑解释变量误差模型i=1
的全最小二乘（TotalLeastSquares）准则，又叫做正交最小二由向量微分理论可知，对Q关于向量β求导，令鄣Q2=-
2鄣β
乘(OrthogonalLeastSquares,OLS)、变量含误差模型(Errors
2XT(y-Xβ)，由实际意义可知问题的最优解为
–In-Variables,EV，EIV)、度量误差模型（ErrorMeasurement
赞T-1T
Model）和随机回归模型(RandomRegressor)等等。近年来，全βLS=（XX）Xy（3）
最小二乘法在统计分析、线性和非线性回归、系统辨识和参由于MATLAB是一种向量化编程语言，因此计算系数β赞
数估计及信号处理中有广泛的应用，成为数理统计和数值代特别简便。在MATLAB语言中使用命令Beta=X\y或者
数方向的热门问题之一。Beta=pinv(X’*X)*X’*y皆可得到参数估计值。
本文拟针对线性模型，给出估计参数的算法和实现
MATLAB源程序，并对两种方法进行计算机仿真，希望研究2线性模型参数估计的全最小二乘法
结果对使用最小二乘法解决实际问题的科技工作者具有一

定的参考价值。在经典的最小二乘法中，误差被定义为数据点沿着因变
量y轴方向到拟合函数的偏差。而当模型中难以区分因变量
1线性模型参数估计的最小二乘法和解释变量时，即所有变量都有不可忽略的误差时，使用经
典的最小二乘法已经不再合适。这就需要使用考虑了所有变
已知多元线性模型中有个参数待定解
p+1b0,b1,b2,…,bP，量误差的全最小二乘法。全最小二乘法按照与经典最小二乘
释变量和因变量有次测量值假设满法不同的距离标准来估计参数这时是寻找参数
x1,x2,…,xPyn(n>p+1)，，b0,b1,b2,…,
足使得数据点到超平面距离残差平方和
bP(xi1,xi2,…,xiP,yi)
nPn
yi=b0+b1xi1+b2xi2+…+bPxiP+εi(i=1,2,…,n)
22-12
这是一个超定线性系统方程可能没有解在经典的最QT=ΣεTi=(1+Σbj)Σ[yi-(b0+b1xi1+b2xi2+…+bPxiP)]（4）
，。i=1j=1i=1
小二乘法中假设的观测值没有误差寻找参数取得最小值如再记T则问
，x1,x2,…,xP，b0,。Xi=[1,x11,x12,…,x1P]，β0=[b1,b2,…,bP]，
使得沿着轴方向的残差平方和
b1,b2,…,bPy题为

nnnn
2…2（）2T-12
Q2=Σεi=Σ[yi-(b0+b1xi1+b2xi2++bPxiP)]1QT=ΣεTi=(1+β0β0)Σ(yi-xiβ)（5）
i=1i=1i=1i=1
取得最小值。问题（4）可以看成一个多元函数的最小值问题，可以用
无约束优化的有效算法如BFGS算法求解，也可以用下面的
Gauss-Newton迭代法和SVD分解方法求解。
2.1用Gauss-Newton迭代法估计参数β

16统计与决策２００9年第1期（总第２77期）
理论新探

軃軃軃軃
…y1-x1β
軃y1-(b0+b1x11+b2x12++bpx1p)軃軃軃计算过原点的超平面的全最小二乘解赞T2-
軃1軃(3)β=(AA-σI)
軃22軃OTp+1
軃軃軃2軃
…軃T軃
軃姨1+b1