高维面板数据降维与变量选择方法研究.doc

高维面板数据降维与变量选择方法研究
张波方国斌
2012-12-1414:35:56来源：《统计与信息论坛》(西安)2012年6期第21～28页
内容提要：从介绍高维面板数据的一般特征入手，在总结高维面板数据在实际应用中所表现出的各种不同类型及其研究理论与方法的同时，主要介绍高维面板数据因子模型和混合效应模型；对混合效应模型随机效应和边际效应中的高维协方差矩阵以及经济数据中出现的多指标大维数据的研究进展进行述评；针对高维面板数据未来的发展方向、理论与应用中尚待解决的一些关键问题进行分析与展望。关键词：高维面板数据降维变量选择作者简介：张波，中国人民大学统计学院（北京100872）；方国斌，中国人民大学统计学院，安徽财经大学统计与应用数学学院（安徽蚌埠233030）。一、引言在社会现象观测和科学实验过程中经常会产生面板数据。这类数据通过对多个个体在不同时间点上进行重复测度，得到每个个体在不同样本点上的多重观测值，形成时间序列和横截面相结合的数据，也就是所谓的“面板数据”。由于应用背景的不同，面板数据有时也称作纵向数据（longitudinaldata）。面板数据广泛产生于经济学、管理学、生物学、心理学、健康科学等诸多领域。随着信息技术的高速发展，数据采集、存储和处理能力不断提高，所谓的高维数据分析问题不断涌现。对于多元统计分析而言，高维问题一般指如下两种情形：一种是变量个数p较大而样本量n相对较小，例如药物试验中有成千上万个观测指标而可用于实验观测的病人个数较少；另一种是变量个数户不大但是样本个数n较多，例如一项全国调查牵涉到大量的调查对象，而观测指标个数相对较少。面板数据高维问题较多元（时序）高维问题更为复杂，因为面板数据至少包括两个维度：时间和横截面。在实际应用中，不同个体在不同时间进行观测时可以获得多个指标值。为了以下论述的方便，用p表示指标个数，T表示观测期长度，N表示个体（individual）或主题（subject）个数。数理统计中所提到的高维（大维）问题，通常是指个体数N、时期长度T或指标个数p这三个变量中的一个或多个可以趋向于无穷。具体应用中，只要N、T和p中有一个或多个大于某个给定的临界值，都称为高维问题。本文主要研究两种基本类型的高维面板问题：一类为面板数据分析中解释变量个数p非常多，超过个体数N和时期数T，比如零售商业网点成千上万种商品扫描数据，央行和国家统计部门得到的多个指标在不同个体宏观经济观测数据等；另一类是混合效应模型中随机效应和固定效应设定时方差协方差矩阵所需确定的参数个数较多，某些参数的值趋向于零，要对方差协方差矩阵进行变量选择，此时针对固定效应和随机效应可以采用不同的变量选择策略。二、高维面板数据因子模型大型数据集构成的社会经济面板的特点是具有成百上千个观测指标，也就是具有所谓的高维特征。由于这种特征的存在，采用经典统计计量分析方法很难进行处理。因子模型（factormodel）不仅可以有效降低数据的维度，而且可以充分体现面板数据内部的序列相依性和截面相依性，因此可以针对不同的应用领域建立相应的因子模型对高维面板数据进行分析。例如构建套利定价模型时，将多个证券的投资组合用公因子表示，进行收益率预测；研究经济周期变动，尤其是重大事件对经济发展影响时，将各经济体的产出指标用几个公因子表示，用因子模型分析各经济体同步变动情况以及重大事件对各经济体的冲击大小，等等。面板数据因子模型是对解释变量或者误差成分项进行因子分解后所建立的模型。实际应用中，当模型中解释变量的个数较多，例如p大于N，就可以对解释变量进行因子分解，用少数几个公因子和与之对应的因子载荷表示大量解释变量，从而起到降维的效果。对误差成分进行因子分解主要是为了体现个体或时间的共同趋势和交互效应，其中因子分解的方法一般采用多元统计分析中的主成分法，为了进一步研究的需要，有时候还要采用极大似然法或者回归法计算因子得分，并将因子得分代入模型进行估计。因子模型中采用较广泛的是动态因子模型（dynamicfactormodel），这主要是因为动态因子模型能够较好体现变量前后时期之间的相关性，便于进行外推预测，体现序列的内在结构。面板数据动态因子模型的一般形式如下：动态因子模型在对解释变量（协变量）进行降维的同时，尽可能用较少公因子体现解释变量的大部分信息。对于社会经济现象中大量存在的高维面板数据而言，动态因子模型提供了高维问题降维的一种思路。相比较其他统计建模方法而言，动态因子模型充分考虑到横截面相关和序列相关对面板数据建模的影响，正确揭示了面板数据内部相依特征，能够更加合理地解释某些社会经济现象的变化规律。在动态因子模型估计和检验过程中，通过对统计量的渐近性和协方差矩阵的结构特征进行研究，推动了诸如随机矩阵理论、谱分解理论、高维变量选择等理论的进一