Logistic回归模型的统计诊断与实例分析.pdf

第24卷第1期聊城大学学报(自然科学版)Vol.24No.1
2011年3月JournalofLiaochengUniversity(Nat.Sci.)Mar.2011

①
Logistic回归模型的统计诊断与实例分析

谢书培韩俊林

(云南师范大学数学学院,云南昆明650031)

摘要通过研究logistic回归模型的诊断,对模型的影响分析、均值漂移模型、异常点的score
统计量进行了分析.推导出了判别强影响点或者异常点的诊断统计量,如广义cook距离、似然距
离,讨论了局部影响分析,最后给出了实例分析.
关键词logistic回归模型,数据删除,均值漂移,score检验统计量,局部影响分析
中图分类号O212文献标识码A文章编号167226634(2011)0120027205
1Logistic回归模型及其极大似然估计

本文所研究的Logistic回归模型定义如下
n
miyin-y
πππiπii
设yi～b(mi,i),i=1,2,⋯n,得概率密度函数为:f(|y)=∏i(1-),可知E(yi)
i=1yi

=μi=mπii.若

πiT
ηi=g(πi)log()=xiβ,i=1,2,⋯,n,(1)
1-πi
TTp
其中(yi,xi)表示第i组数据点,xi=(xi1,xi2,⋯,xip)∈R是已知非随机设计点列,β=(β1,β2,⋯,
T[1]
βp)为未知参数,式(1)称为Logistic回归模型.

x11x12⋯x1pμ1m1π1
⋯μπ
TTx21x22x2p2m22
设Y=(y1,y2,⋯,yn),X=(x1,x2,⋯,xn)=,μ(β)==,则Y关
⋯⋯⋯

xn1xn2⋯xnpμnmnπn
于β的对数似然函数为
nn
mi
βπβππ
l()=log[f(|y)]=∑li()=∑log+yilog(i)+(mi-yi)log(1-i)
i=1i=1yi
nn
πmi
iπ
=∑yilog(π)+milog(1-i)+∑log,
i=11-ii=1yi

9li1-πi1πi2miyi-mπii
=yi()+)-=.
9πiπi1-πi(1-πi1-πiπi(1-πi)

9πi11
因为===πi(1-πi),所以
9ηi9ηiπi
9log()
9πi1-πi
9πi
βnπη
β9l()9li9i9iπ
Ur()==∑=∑(yi-mii)xir,
9βri=19πi9ηi9βr

①收稿日期:2010211221
基金项目:国家自然科学基金资助项目(11061036);云南省教育厅自然科学基金资助项目(2010Y007)
通讯作者:谢书培,E2mail:[e-mail].

©1994-2012ChinaAcademicJournalElectronicPublishingHouse.Allrightsreserved.http://www.cnki.net
28聊城大学学报(自然科学版)第24卷

2βnπnπn
9l()9(yi-mii)xir9iππ
=∑=-∑mixir=-∑mii(1-i)xisxir,
9βr9βsi=19βsi=19βsi=1
2β2βn
β9l()9l()ππ
Isr()=-E()=-=∑mii(1-i)xisxir.
9βr9βs9βr9βsi=1

m1π1(1-π1)000

0m2π2(1-π2)⋯0
记W(β)=,则U(β)=XT[Y-μ(β)],
⋯⋯w⋯

00⋯mnπn(1-πn)
I(β)=XTW(β)X.
[2]^^^^^^
由Fisher得分方法:I(βt)βtt1=I(βt)βt+U(βt)可得β的迭代公式
^T^-1T^
βt1=[XW(βt)X]XW(βt)Zt(2)

zt1
^-1^^
其中,Zt=⋯=Xβ+W(βt)(Y-μ(βt)).

ztn
2Logistic回归模型的影响分析

2.1数据删除模型
T
下面讨论Logistic回归模型(1)中删除第i组数据点(yi,xi)以后的模型.这时模型可以表示为

πjT
ηj=g(πj)=log()=xjβ,j≠i,(3)
1-πj
^
模型(3)称为数据删除模型,记(3)中β的极大似然估计为β(i).
T-1
^^^XWX)xiei
定理1在数据删除模型中,β(i)的估计可以表示为:β(i)=β-,其中e=(e1,e2,⋯,
1-hii
11
T2T-1T2
en),ei=yi-μi(β),hii是H的对角元素,这里H=X(XWX)XW.

证明模型(3)的对数似然函数为l(i)(β),则

πmj
βjπ
l(i)()=∑yjlogπ+mjlog(1-j)+∑log,
j≠1(1-jj≠1yj
TT
i(i)(β)=X(i)[Y(i)-μ(i)(β)