时间序列分析方法最大似然估计.docx

第五章最大似然估计
在本章当中我们开始讨论时间序列模型的参数估计方法，极大似然估计是其中一种最为常用的参数估计方法。
§5.1引言
5.1.1ARMA模型的极大似然估计
假设数据生成过程是一个过程：

其中是白噪声序列，满足：

我们将要讨论如何利用的观测值来估计参数：，采用的方法是极大似然估计方法。假设获得了个样本，如果能够计算出相应的联合概率密度函数：

上述函数可以识为在给定参数下样本发生的概率，因此合理的参数取值是使得上述概率最大，如此参数便称为极大似然估计。为此，我们假设噪声序列是高斯白噪声序列，具体求解极大似然估计的步骤是：一是先求出似然函数，二是求似然函数的最大值。
§5.2高斯过程的似然函数
假设数据生成过程是一个具有高斯白噪声序列的过程：

(1)求上述过程似然函数的过程是利用条件概率密度，所以需要先求出的概率密度。它的均值和方差为：
，
由于它具有正态分析，因此对应的密度函数为：

(2)在给定的条件下，的条件概率分布可以得到：

对应的概率密度函数为：

(3)类似地，在给定前两个观测值的条件，的条件概率密度函数为：

(4)最后一个样本的条件概率分布为：

(5)根据无条件密度函数与条件密度函数之间的关系，可以得到：

经常对上述函数取对数，得到对数似然函数：

(6)将具体的密度函数代入上式，可以得到过程的似然函数为：

可以将上述似然函数表示为更为紧凑的向量和矩阵形式。令均值向量和自协方差为和，则：
，
这样一来，所观测到的样本可以当作多元正态母体的一个简单抽样，具有的联合概率密度函数为：

理论上可以对上述极大似然函数求导数，然后获得参数估计。但是，一般情况下的导数方程是非线性方程，难以获得精确的最大值估计。一种近似的方法是假设第一个观测值是确定性的，然后求解给定时的条件似然函数值，这时的目标函数是：

上式最大值相当于求下式的最小值：

上式的最小值就是线性回归的最小二乘估计，满足方程：

类似地，噪声的方差为：

当样本容量足够大时，上述近似极大似然估计具有与精确估计一样的极限分布。
§5.2高斯过程的似然函数
对于一般的高阶自回归过程：
，
此时所要估计的总体参数向量是：。