最小二乘法的原理及其应用.doc

最小二乘法的原理及其应用研究背景在科学研究中，为了揭示某些相关量之间的关系，找出其规律，往往需要做数据拟合，其常用方法一般有传统的插值法、最佳一致逼近多项式、最佳平方逼近、最小二乘拟合、三角函数逼近、帕德（Pade）逼近等，以及现代的神经网络逼近、模糊逼近、支持向量机函数逼近、小波理论等。其中，最小二乘法是一种最基本、最重要的计算技巧与方法。它在建模中有着广泛的应用，用这一理论解决讨论问题简明、清晰，特别在大量数据分析的研究中具有十分重要的作用和地位。随着最小二乘理论不断的完善，其基本理论与应用已经成为一个不容忽视的研究课题。本文着重讨论最小二乘法在化学生产以及系统识别中的应用。最小二乘法的原理人们对由某一变量t或多个变量t1…..tn构成的相关变量y感兴趣。如HYPERLINK"http://zh.wikipedia.org/wiki/%E5%BC%B9%E7%B0%A7"\o"弹簧"弹簧的HYPERLINK"http://zh.wikipedia.org/wiki/%E5%BD%A2%E8%AE%8A"\o"形变"形变与所用的力相关，一个HYPERLINK"http://zh.wikipedia.org/wiki/%E4%BC%81%E4%B8%9A"\o"企业"企业的盈利与其HYPERLINK"http://zh.wikipedia.org/wiki/%E7%87%9F%E6%A5%AD%E9%A1%8D"\o"营业额"营业额，HYPERLINK"http://zh.wikipedia.org/w/index.php?title=%E6%8A%95%E8%B5%84%E6%94%B6%E7%9B%8A&action=edit&redlink=1"\o"投资收益"投资收益和HYPERLINK"http://zh.wikipedia.org/w/index.php?title=%E5%8E%9F%E5%A7%8B%E8%B5%84%E6%9C%AC&action=edit&redlink=1"\o"原始资本"原始资本有关。为了得到这些变量同y之间的关系，便用不相关变量去构建y，使用如下函数模型,q个相关变量或p个附加的相关变量去拟和。通常人们将一个可能的、对不相关变量t的构成都无困难的HYPERLINK"http://zh.wikipedia.org/wiki/%E5%87%BD%E6%95%B0"\o"函数"函数类型充作函数模型（如HYPERLINK"http://zh.wikipedia.org/wiki/%E6%8A%9B%E7%89%A9%E7%BA%BF"\o"抛物线"抛物线函数或HYPERLINK"http://zh.wikipedia.org/wiki/%E6%8C%87%E6%95%B0"\o"指数"指数函数）。参数x是为了使所选择的函数模型同观测值y相匹配。（如在测量弹簧形变时，必须将所用的力与弹簧的膨胀系数联系起来）。其目标是合适地选择参数，使函数模型最好的拟合观测值。一般情况下，观测值远多于所选择的参数。其次的问题是怎样判断不同拟合的质量。HYPERLINK"http://zh.wikipedia.org/wiki/%E9%AB%98%E6%96%AF"\o"高斯"高斯和HYPERLINK"http://zh.wikipedia.org/wiki/%E5%8B%92%E8%AE%93%E5%BE%B7"\o"勒让德"勒让德的方法是，假设测量误差的平均值为0。令每一个测量误差对应一个变量并与其它测量误差不相关（随机无关）。人们假设，在测量误差中绝对不含HYPERLINK"http://zh.wikipedia.org/w/index.php?title=%E7%B3%BB%E7%BB%9F%E8%AF%AF%E5%B7%AE&action=edit&redlink=1"\o"系统误差"系统误差，它们应该是纯HYPERLINK"http://zh.wikipedia.org/w/index.php?title=%E5%81%B6%E7%84%B6%E8%AF%AF%E5%B7%AE&action=edit&redlink=1"\o"偶然误差"偶然误差，围绕真值波动。除此之外，测量误差符合HYPERLINK"http://zh.wikipedia.org/wiki/%E6%AD%A3%E6%80%81%E5%88%86%E5%B8%83"\o"正态分布"正态分布，这保证了偏差值在最后的结果y上忽略不计。确定拟合的标准应该被重视，并小心选择，较大误差的测量值应被赋予较小的HYPERLINK"http://zh.wikipedi