素质测评的质量分析.ppt

素质测评的质量分析第九章素质测评的质量分析10-1测评的信度10-1-1信度及其影响因素1、信度的概念例如：
所有测验都有误差，心理测验分数也不例外。如果一个人连续两天接受同一测验，或者完成同一测验被认为是等值的两个版本，如果得分相同会让人感到惊讶，如果分数有相当大的变化可能让人吃惊，但是有一点可以肯定，这是由于偶然或随机因素影响了每次测验的成绩。
然而，对于儿童，如果同一测验在半年或一年之后测第二遍，分数有很大的差异是不足为奇的，因为他们的成长导致测验成绩的变化非常自然。问题将是确定有多少变化是由于成绩的随机变化引起的，又有多少可以归因于个人在这段时间内所发生的变化。测量结果的稳定性：
测验分数一致性的程度（不同时间、测验条件下所得分数之间的一致性）
一个人获得分数与“真实分数”之间的接近程度
测量结果的一致性是否达到实际应用的程度
影响稳定性的原因：
什么因素造成了这种差异（误差的来源）
这些效应的相对作用如何（分数的实际含意）信度的计算：信度系数2、信度的作用解释真实分数与实得分数之间的相关说明可以接受的信度水平3、信度的影响因素受试者个体短时而特殊的特性
对特殊测验的理解，测验所需要的特殊技巧；为做测验所进行的练习；
对测验项目内容的注意、记忆等的飘忽不定。
影响测验过程和解释的外部因素系统改变
测验条件；对测验的各种限制；干扰程度；指示语的清晰度；
受试者在个性、性别、种族等与测验主试的交互作用；
对测验结果的不一致或有偏差的评判。
无法解释的变化（随机因素）
猜测、运气，以及暂时的干扰10-1-2信度的评估方法1、重测信度(test-retestreliability)在日常生活中，你也许常常到市场上去买东西。如果你买了5斤瘦肉后觉得比上次少了点，没有那么重，那么你可以自己再用秤称一下。如果也是5斤，那么你可能就会觉得确实有5斤。这是因为两次称得的结果完全一致，变异度为0。
人的素质测评没有这么简单，因为素质本身又是无法精确定义，因而我们常常把对个体测评结果的准确性检验，置于群体测评结果的相互关系之中，转化为两次位置关系的一致性分析。当同一对象的测评结果以同样的测评方式再次获得后，其顺序位置关系变异很小时，则说明测评结果比较准确。
例如：在技能测评中A分数88，在全体被测者中排名第一。这是否可靠可信？我们可以再测一次，结果A分数105，还是排名第一，而且其他被测的位置顺序变化很小。这时我们可以说第一次的技能测评结果是可靠的（信度高）。重测信度的考察对象重测信度的评估应用重测信度应注意：2、复本信度(alternative-formreliability)优点：
能够避免重测信度的一些问题，如记忆效果、练习效应等；
适用于进行长期追踪研究或调查某些干涉变量对测验成绩的影响；
减少了辅导或作弊的可能性。
缺点：
如果测量的行为受练习的影响，复本信度只能减少而不能消除这种影响；
有些测验的性质会由于重复测量而发生改变，例如某些问题解决型的测验，如果掌握了解题原则就有可能产生迁移，尤其当复本只是在题目具体内容上有改变时，这种正迁移的作用会很强；
有些测验很难找到复本。3、一致性信度ConsistencyReliability一致性信度的作用一致性信度应用实例一致性信度的计算方法4、评分者信度（ratersreliability）信度小结：思考题：测评项目
被测者10-2测量的效度10-2-1效度及其影响因素Sco2效度与信度的关系2、效度的作用3、效度的影响因素10-2-2效度的评估方法1、内容效度contentvalidity应用范围：
内容效度适合于选拔和分类人事测验，因为这类测验内容是实际工作的一个样本，应包含实际工作所需要的技能和知识，通过内容效度的分析来确定测验是否测量了实际工作中需要的知识和技能。
内容效度一般不适用于能力倾向测验和人格测验，因为这类测验不太要求与所取样的行为领域的内在相似性，其测验题目的选择更多的受某种假设的指导。
此外，能力倾向和人格测验与成就测验不同，他们不是建立在某种课程或知识基础上，在对相同的题目做出反应时，每个被试使用的方法和心理过程是很不相同的，同一测验对不同被试来说测量的是不同的心理过程。在这种情况下，不可能从检查测验的内容来确定测验测量的功能。
内容效度的评价可以回答：
该测验是否是应考察的某种技能和知识的代表性样本
测验成绩是否不受无关因素的影响
内容效度对效标参照测验尤为重要，因为在校标参照测验中，被试的表现往往以测验内容来解释。确定内容效度的方法2、效标关联效度criterion-relatedvalidity效标效度的种类常见效标种类3、构想效度constructvalidity确定构想效度的方法10-3项目分析10-3-1测量的难度分析10-3-2测量的鉴别度分析10