素质测评的质量分析.pptx

第十二章素质测评的质量分析12-1测评的信度12-1-1信度及其影响因素1、信度的概念所有测验都有误差，心理测验分数也不例外。如果一个人连续两天接受同一测验，或者完成同一测验被认为是等值的两个版本，如果得分相同会让人感到惊讶，如果分数有相当大的变化可能让人吃惊，但是有一点可以肯定，这是由于偶然或随机因素影响了每次测验的成绩。然而，对于儿童，如果同一测验在半年或一年之后测第二遍，分数有很大的差异是不足为奇的，因为他们的成长导致测验成绩的变化非常自然。问题将是确定有多少变化是由于成绩的随机变化引起的，又有多少可以归因于个人在这段时间内所发生的变化。测量结果的稳定性：测验分数一致性的程度（不同时间、测验条件下所得分数之间的一致性）一个人获得分数与“真实分数”之间的接近程度测量结果的一致性是否达到实际应用的程度影响稳定性的原因：什么因素造成了这种差异（误差的来源）这些效应的相对作用如何（分数的实际含意）信度的计算：信度系数2、信度的作用解释真实分数与实得分数之间的相关说明可以接受的信度水平3、信度的影响因素受试者个体短时而特殊的特性对特殊测验的理解，测验所需要的特殊技巧；为做测验所进行的练习；对测验项目内容的注意、记忆等的飘忽不定。影响测验过程和解释的外部因素系统改变测验条件；对测验的各种限制；干扰程度；指示语的清晰度；受试者在个性、性别、种族等与测验主试的交互作用；对测验结果的不一致或有偏差的评判。无法解释的变化（随机因素）猜测、运气，以及暂时的干扰12-1-2信度的评估方法1、重测信度(test-retestreliability)在日常生活中，你也许常常到市场上去买东西。如果你买了5斤瘦肉后觉得比上次少了点，没有那么重，那么你可以自己再用称称一下。如果也是5斤，那么你可能就会觉得确实有5斤。这是因为两次称得的结果完全一致，变异度为0。人的素质测评没有这么简单，因为素质本身又是无法精确定义，因而我们常常把对个体测评结果的准确性检验，置于群体测评结果的相互关系之中，转化为两次位置关系的一致性分析。当同一对象的测评结果以同样的测评方式再次获得后，其顺序位置关系变异很小时，则说明测评结果比较准确。例如：在技能测评中A分数88，在全体被测者中排名第一。这是否可靠可信？我们可以再测一次，结果A分数95，还是排名第一，而且其他被测的位置顺序变化很小。这时我们可以说第一次的技能测评结果是可靠的（信度高）。重测信度的考察对象应用重测信度应注意：2、复本信度(alternative-formreliability)优点：能够避免重测信度的一些问题，如记忆效果、练习效应等；适用于进行长期追踪研究或调查某些干涉变量对测验成绩的影响；减少了辅导或作弊的可能性。缺点：如果测量的行为受练习的影响，复本信度只能减少而不能消除这种影响；有些测验的性质会由于重复测量而发生改变，例如某些问题解决型的测验，如果掌握了解题原则就有可能产生迁移，尤其当复本只是在题目具体内容上有改变时，这种正迁移的作用会很强；有些测验很难找到复本。3、一致性信度ConsistencyReliability一致性信度的作用一致性信度应用实例一致性信度的计算方法4、评分者信度（ratersreliability）信度小结：12-2测量的效度12-2-1效度及其影响因素效度与信度的关系2、效度的作用3、效度的影响因素12-2-2效度的评估方法1、内容效度contentvalidity2、效标关联效度criterion-relatedvalidity效标效度的种类常见效标种类3、结构效度constructvalidity确定构想效度的方法12-3项目分析12-3-1测量的难度分析12-3-2测量的鉴别度分析12-3-3测验的公平性分析12-3-4测验的经济效益分析测评结果的表示