用极大似然法进行参数估计.docx

北京工商大学

《系统建模与辨识》课程
上机实验报告
（2016年秋季学期）

专业名称：控制工程
上机题目：用极大似然法进行参数估计
专业班级：计研3班
学生姓名：王瑶吴超
学号：
指导教师：刘翠玲

2017年1月

一实验目的
通过实验掌握极大似然法在系统参数辨识中的原理和应用。
二实验原理
1极大似然原理
设有离散随机过程与未知参数有关，假定已知概率分布密度。如果我们得到n个独立的观测值…，则可得分布密度，，…,。要求根据这些观测值来估计未知参数，估计的准则是观测值{}的出现概率为最大。为此，定义一个似然函数
（1.1）
上式的右边是n个概率密度函数的连乘，似然函数L是的函数。如果L达到极大值，的出现概率为最大。因此，极大似然法的实质就是求出使L达到极大值的的估值。为了便于求，对式（1.1）等号两边取对数，则把连乘变成连加，即
（1.2）
由于对数函数是单调递增函数，当L取极大值时，lnL也同时取极大值。求式（1.2）对的偏导数，令偏导数为0，可得
（1.3）
解上式可得的极大似然估计。
2系统参数的极大似然估计
Newton-Raphson法实际上就是一种递推算法，可以用于在线辨识。不过它是一种依每L次观测数据递推一次的算法，现在我们讨论的是每观测一次数据就递推计算一次参数估计值得算法。本质上说，它只是一种近似的极大似然法。

设系统的差分方程为
（2.1）
式中

因为是相关随机向量，故（2.1）可写成
（2.2）
式中
（2.3）
（2.4）
是均值为0的高斯分布白噪声序列。多项式，和中的系数和序列的均方差都是未知参数。
设待估参数
（2.5）
并设的预测值为

（2.6）
式中为预测误差；，，为，，的估值。预测误差可表示为

（2.7）
或者
=
（2.8）
因此预测误差满足关系式
（2.9）
式中

假定预测误差服从均值为0的高斯分布，并设序列具有相同的方差。因为与，和有关，所以是被估参数的函数。为了书写方便，把式（2.9）写成
（2.10）

（2.11）
或写成
（2.12）
令k=n+1,n+2,…,n+N,可得的N个方程式，把这N个方程式写成向量-矩阵形式

（2.13）
式中
,,

因为已假定是均值为0的高斯噪声序列，高斯噪声序列的概率密度函数为
（2.14）
式中y为观测值，和m为y的方差和均值，那么
（2.15）
对于符合高斯噪声序列的极大似然函数为

（2.16）
或
（2.17）
对上式（2.17）等号两边取对数得
（2.18）
或写为
（2.19）
求对的偏导数，令其等于0，可得
（2.20）
则
（2.21）
式中
（2.22）
越小越好，因为当方差最小时，最小，即残差最小。因此希望的估值取最小
（2.23）
因为式（2.10）可理解为预测模型，而e(k)可看做预测误差。因此使式（2.22）最小就是使误差的平方之和最小，即使对概率密度不作任何假设，这样的准则也是有意义的。因此可按J最小来求的估计值。
由于e(k)式参数的线性函数，因此J是这些参数的二次型函数。求使最大的，等价于在式（2.10）的约束条件下求使J为最小。由于J对是非线性的，因而求J的极小值问题并不好解，只能用迭代方法求解。求J极小值的常用迭代算法有拉格朗日乘子法和牛顿-拉卜森法。下面介绍牛顿-拉卜森法。整个迭代计算步骤如下：
(1)确定初始的值。对于中的可按模型
（2.24）
用最小二乘法来求，而对于中的可先假定一些值。
(2)计算预测误差
（2.25）
给出

并计算
（2.26）
(3)计算J的梯度和海赛矩阵,有
（2.27）
式中

（2.28）
即
（2.29）
同理可得
（2.30）
（2.31）
将式（2.29）移项化简，有
（2.32）
因为
（2.33）
由求偏导，故
（2.34）
将（2.34）代入（2.32），所以
（2.35）

所以得
（2.36）
同理可得（2.30）和（2.31）为
（2.37）
（2.38）
根据（2.36）构造公式
（2.39）
将其代入（2.36），可得
(2.40）
消除可得
（2.41）
同理可得（2.37）和（2.38）式
（2.42）
（2.43）
式（2.29）、式（2.30）和式（2.31）均为差分方程，这些差分方程的初始条件为0，可通过求解这些差分方程，分别求出e(k)关于的全部偏导数，而这些偏导数分别为，和的线性函数。下面求关于的二阶偏导数，即
（2.44）
当接近于真值时，e(k)接近于0。在这种情况下，式（2.44）等号右边第2项接近于0，可近似表示为
（2.45）
则利用式（2.45）计算比较简单。
(4)按牛顿-拉卜森计算的新估值，有
（2.46）
重复(2)至(4)的计算步骤，经过r次迭代计算之后可得，近一步迭代