常用数据分析方法.docx

常用数据分析方法常用数据分析方法常用数据分析方法1描述统计描述性统计是指运用制表和分类，图形以及计筠概括性数据来描述数据的集中趋势、离散趋势、偏度、峰度。1、缺失值填充：常用方法：剔除法、均值法、最小邻居法、比率回归法、决策树法。2、正态性检验：很多统计方法都要求数值服从或近似服从正态分布，所以之前需要进行正态性检验。常用方法：非参数检验的K-量检验、P-P图、Q-Q图、W检验、动差法。2假设检验1、参数检验参数检验是在已知总体分布的条件下(一股要求总体服从正态分布)对一些主要的参数(如均值、百分数、方差、相关系数等)进行的检验。1)U验使用条件：当样本含量n较大时，样本值符合正态分布2)T检验使用条件：当样本含量n较小时，样本值符合正态分布A单样本t检验：推断该样本来自的总体均数μ与已知的某一总体均数μ0(常为理论值或标准值)有无差别;B配对样本t检验：当总体均数未知时，且两个样本可以配对，同对中的两者在可能会影响处理效果的各种条件方面为相似;C两独立样本t检验：无法找到在各方面极为相似的两样本作配对比较时使用。2、非参数检验非参数检验则不考虑总体分布是否已知，常常也不是针对总体参数，而是针对总体的某些一股性假设(如总体分布的位是否相同，总体分布是否正态)进行检验。适用情况：顺序类型的数据资料，这类数据的分布形态一般是未知的。A虽然是连续数据，但总体分布形态未知或者非正态;B体分布虽然正态，数据也是连续类型，但样本容量极小，如10以下;主要方法包括：卡方检验、秩和检验、二项检验、游程检验、K-量检验等。3信度分析检测量的可信度，例如调查问卷的真实性。分类：1、外在信度：不同时间测量时量表的一致性程度，常用方法重测信度2、内在信度;每个量表是否测量到单一的概念，同时组成两表的内在体项一致性如何，常用方法分半信度。4列联表分析用于分析离散变量或定型变量之间是否存在相关。对于二维表，可进行卡方检验，对于三维表，可作Mentel-Hanszel分层分析。列联表分析还包括配对计数资料的卡方检验、行列均为顺序变量的相关检验。5相关分析研究现象之间是否存在某种依存关系，对具体有依存关系的现象探讨相关方向及相关程度。1、单相关：两个因素之间的相关关系叫单相关，即研究时只涉及一个自变量和一个因变量;2、复相关：三个或三个以上因素的相关关系叫复相关，即研究时涉及两个或两个以上的自变量和因变量相关;3、偏相关：在某一现象与多种现象相关的场合，当假定其他变量不变时，其中两个变量之间的相关关系称为偏相关。6方差分析使用条件：各样本须是相互独立的随机样本;各样本来自正态分布总体;各总体方差相等。分类1、单因素方差分析：一项试验只有一个影响因素，或者存在多个影响因素时，只分析一个因素与响应变量的关系2、多因素有交互方差分析：一顼实验有多个影响因素，分析多个影响因素与响应变量的关系，同时考虑多个影响因素之间的关系3、多因素无交互方差分析：分析多个影响因素与响应变量的关系，但是影响因素之间没有影响关系或忽略影响关系4、协方差分祈：传统的方差分析存在明显的弊端，无法控制分析中存在的某些随机因素，使之影响了分祈结果的准确度。协方差分析主要是在排除了协变量的影响后再对修正后的主效应进行方差分析，是将线性回归与方差分析结合起来的一种分析方法，7回归分析分类：1、一元线性回归分析：只有一个自变量X与因变量Y有关，X与Y都必须是连续型变量，因变量y或其残差必须服从正态分布。2、多元线性回归分析使用条件：分析多个自变量与因变量Y的关系，X与Y都必须是连续型变量，因变量y或其残差必须服从正态分布。1)变呈筛选方式：选择最优回归方程的变里筛选法包括全横型法(CP法)、逐步回归法，向前引入法和向后剔除法2)横型诊断方法：A残差检验：观测值与估计值的差值要艰从正态分布B强影响点判断：寻找方式一般分为标准误差法、Mahalanobis距离法C共线性诊断：诊断方式：容忍度、方差扩大因子法(又称膨胀系数VIF)、特征根判定法、条件指针CI、方差比例处理方法：增加样本容量或选取另外的回归如主成分回归、岭回归等3、Logistic回归分析线性回归模型要求因变量是连续的正态分布变里，且自变量和因变量呈线性关系，而Logistic回归模型对因变量的分布没有要求，一般用于因变量是离散时的情况分类：Logistic回归模型有条件与非条件之分，条件Logistic回归模型和非条件Logistic回归模型的区别在于参数的估计是否用到了条件概率。4、其他回归方法非线性回归、有序回归、Probit回归、加权回归等8聚类分析样本个体或指标变量按其具有的特性进行分类，寻找合理的度量事物相似性的统计量。1、性质分类：Q型聚类分析：对样本进行分类处理，又称样本聚类分祈使用距离系数作为统计量衡量相似度，如欧式距离、