基于Matlab语言的统计数据异常值检验.docx

基于Matlab语言的统计数据异常值检验潘丽静（1.渭南师范学院数学系；2.渭南师范学院统计科学与社会计算研究所，陕西渭南714000）摘要：从回归模型诊断的角度对统计数据中的异常值进行探测与分析，并基于Matlab语言，结合具体实例，给出回归诊断在统计数据异常值探测中的应用.关键词：回归诊断；异常值；Matlab中图分类号：O212.3文献标识码：A文章编号：1673-260X（2012）11-0005-02评估统计数据的准确性是统计学研究的一个重要课题，在实际统计工作中遇到的数据常会出现下面的两种情况：一是单个变量的值过大或过小，明显偏离该变量大多数观测值；二是单个变量值虽未表现出异常，但却不符合变量间的结构和相关性，明显扰乱这种相关关系，我们称这种观测值为异常值[1].异常值是影响统计数据质量的一个非常重要的因素，因此如何发现和处理这些异常数据十分重要，文献[1-5]对统计数据质量的概念及统计数据质量评估的方法进行了讨论，本文利用Matlab软件采用残差分析的方法对统计数据中的异常值进行了检验.1残差分析理论通过对残差和残差的置信区间进行分析，可以看出原始数据中是否存在异常点，若残差的置信区间不包括0点，可认为该组观测为异常点.2基于Matlab语言的回归诊断异常值检验程序（1）调用regress函数作一元线性回归[b,bint,r,rint,s]=regeess(y,xdsta);返回系数的估计值、残差的估计值及估计值的95%置信区间、判定系数、F统计量的观测值和检验的p值.（2）调用rcoplpt(r,rint)按顺序画出各组观测数据对应的残差和残差的置信区间.3应用举例分析2010年全国31个主要城市的年平均气温与全年日照时数的关系，并分析异常值点.数据来源于中华人民共和国国家统计局网站2010年资源和环境统计数据.其原始数据散点与回归直线图，原始数据残差及置信区间图和剔除异常值后的回归直线图如下：图1是原始散点及回归直线图，从图形上看，第22、23、24和26号样本点明显偏离其他样本点；图2是原始数据残差及置信区间图，从图形上看，有三个样本点的残差置信区间不包含0点，它们对应得观测序号分别23、24和26，可认为这三组观测数据为异常数据，这和从散点图上直接观察的结果基本吻合.它们分别是成都（17.0，689.0），贵阳（14.6，1021.5）和拉萨（10.0，3134.2），这可能是受到它们所处地理位置的影响；图3是原始数据散点、原始数据对应的回归直线和剔除异常数据后的回归直线，由于受异常数据影响，两次回归结果并不相同.参考文献：〔1〕赵慧,甘仲惟,肖明.多变量统计数据中异常值检验方法的探讨[J].华中师范大学学报,2003,37(2):133-137.〔2〕王怀亮.回归诊断在统计数据异常值探测中的应用[J].黑龙江对外经贸,2011（2）:118-119.〔3〕卢二坡,黄炳艺.基于稳健MM估计的统计数据质量评估方法[J].统计研究,2010,27(12):16-22.〔4〕刘洪,黄燕.我国统计数据质量的评估方法研究-趋势模拟评估法及其应用[J].统计研究,2007,24（8）.〔5〕许永洪.统计数据质量的基本概念与数据质量评估的基本模型[J].商业经济与管理，2010（12）.〔6〕李海涛,邓樱.MATLAB程序设计教程[M].北京：高等教育出版社,2007.9.-全文完-