最小二乘法及其应用.pdf

最小二乘法及其应用

1(引言

最小二乘法在19世纪初发明后,很快得到欧洲一些国家的天文学家和测地学家

的广泛关注。据不完全统计,自1805年至1864年的60年间,有关最小二乘法的研

究论文达256篇,一些百科全书包括1837年出版的大不列颠百科全书第7版,亦收

入有关方法的介绍。同时,误差的分布是“正态”的,也立刻得到天文学家的关注及

大量经验的支持。如贝塞尔(F.W.Bessel,1784

—1846)对几百颗星球作了三组观测,并比较了按照正态规律在给定范围内的理

论误差值和实际值,对比表明它们非常接近一致。拉普拉斯在1810年也给出了正态

规律的一个新的理论推导并写入其《分析概论》中。正态分布作为一种统计模型,

在19世纪极为流行,一些学者甚至把19世纪的数理统计学称为正态分布的统治时

代。在其影响下,最小二乘法也脱出测量数据意义之外而发展成为一个包罗极大,应

用及其广泛的统计模型。到20世纪正态小样本理论充分发展后,高斯研究成果的影

响更加显著。最小二乘法不仅是19世纪最重要的统计方法,而且还可以称为数理统

计学之灵魂。相关回归分析、方差分析和线性模型理论等数理统计学的几大分支都

以最小二乘法为理论基础。正如美国统计学家斯蒂格勒(S.M.Stigler)所

说,“最小二乘法之于数理统计学犹如微积分之于数学”。最小二乘法是参数回归

的最基本得方法所以研究最小二乘法原理及其应用对于统计的学习有很重要的意

义。2.最小二乘法

b,b所谓最小二乘法就是:选择参数,使得全部观测的残差平方和最小.01

用数学公式表示为:

,222mine,(Y,Y),(Y,b,bx),,,iiiii01

为了说明这个方法，先解释一下最小二乘原理，以一元线性回归方程为例.
Y,B，Bx，,(一元线性回归方程)i01ii

1

由于总体回归方程不能进行参数估计，我们只能对样本回归函数来估计即:

Y,b，bx，e(i,1,2...n)i01ii

从上面的公式可以看出:残差是的真实值与估计值之差，估计总体eYii

回归函数最优方法是，选择的估计量，使得残差尽可能的小.B,Bb,be0101i

总之，最小二乘原理就是选择样本回归函数使得所有Y的估计值与真实值差的

平方和为最小，这种确定的方法叫做最小二乘法。b,b01

最小二乘法是回归分析中的最基本的方法。回归方程一般分为2类，线性回归

方程和非线性回归方程。

2.1线性回归最小二乘法

最小二乘法是由实验或调查的数据，建立线性型公式的一种常用方法.在建立

线性型公式中，虽然有很多种不同的方法来求样本回归函数(即真实总体回归函数

的估计值)，但是在回归分析中最广泛应用的方法是最小二乘法.

,

如果变量有精确的线性关系比如说,那么y,y即观测x和yy,ax，bii值与回归

值是相等的.事实上现实世界中的诸多变量的关系未必都是如此，由于受诸多随机

因数的干扰使得物与物之间没有那种很明确的对应关系.比如说人的身高和体重就

是一个对应，我们都知道长的高的人不一定就重，同理长的矮的人也不一定就轻.

但身高和体重的确存在着一定的关系,而这种关系并非是所能确定的.那么我们要寻

求身高和体重之间的关系y,ax，b

就需要通过数学的方法.首先调查统计得出数据;其次把数据描绘出来;然后拟

合一条跟已有的图象最接近的曲线,这样就可以相对地将身高和体重之间的关系表

示出来.在处理类似的事情中常常用到最小二乘法.2.2非线性回归最小二乘法
2

2非线性回归的种类很多，常用的有抛物线方程()、指YabXcX,，，

x数方程()等。Yab,

设已知列表函数，并且我们想用一个通常的yfxim,,()(0,1,...,)ii

次多项式nm(),

n(1)pxaaxax,，，，...，，01nn

去近似它。问题是应该如何选择使能较好地近似列表函pxaaa，，，...，，

n01n数。按最小二乘法，应该选择使得fxaaa，，，...，，01n

m2Saaafxpx，，，...,,(2)，，，，，，，，,01nini,0i

取最小。注意到S是非负的，且是的2次多项式，它必有最小值。

aaa，，，...01n求S对的偏导数，并令其等于零，得到aaa，，，...01n

mnk(0,1,...,)kn,yaaxaxx,,,,,...0，，,01iinii,0i

进一步，可以将它们写成

mmmm，，1kkkkn

(0,1,...,)kn,yxaxaxax,，，，...,,,,01iiiini,,,,ioioioio

引进记号

mmkksxuyx,,和,,kikii,,ioio则上述方程组为

sasasau，，，,？,,00110nn