《人事测量》自考笔记(五)

《《人事测量》自考笔记(五)》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

第五章人事测量工具的评价指标第一节人事测量的信度人事测量时，最重要的心理测量学指标之一就是信度。任何一项好的测量都必须有良好的信度，这是人事测评的中心问题，同时它也是标准化测评的一项基本要求和原则。一、信度的定义信度指的是测量数据和结果的一致性或可靠性程度，它用于分析测量工具测量的前后一致性水平，并以这种一致性的程度来判断测量工具或测量方法的可靠性。二、信度与误差一个好的测评工具必须稳定，即每次测量的结果要保持一致，对于一个好的测评工具来说，它也会有误差，而且不同类型的误差对信度的影响是不尽相同的。人事测量时，信度是指测验分数未受测量误差影响的程度。测量误差指由与测量目的无关的因素产生的不准确或不一致的效应。测量误差愈小，测量结果愈可靠；测量误差通常包括两种不同类型的误差，即系统误差和随机误差，系统误差是由与测量目的无关的因素引起一种恒定而有规律的效应，它稳定地存在于每一次测量中，此时虽然每次的测量值具有一致性，但不正确。随机误差是由与测量目的无关的偶然因素引起而不易控制的误差，这类误差的方向和大小的变化完全是随机的，无规律可循。信度就是对随机误差的一种测量，随机误差越小，信度就越高。此外我们可以用信度系数来表示信度的大小。信度系数是同一样本或个体在两种不同时间，不同情境条件下的测量结果之间的相关系数。通过计算信度系数，可以衡量人才测评结果的可靠性。信度系数越大，说明测量工具或评价方法的可信度越强；信度系数是指一组测验分数的真实分数方差与测量方差的比率，它是一种特殊的相关。三、信度的作用信度系数的作用是可以解释测量分数中有多少的比例是真正反映被试者真实分数的部分。信度系数大于0.90的测评被认为是可靠的，系数0.80左右的信度也认为是比较可靠的，而信度系数低于0.70则认为可靠性比较低。被试间比较而言，当系数小于0.70时，不能用测评结果对个人之间评价，也不能在团体间做比较；当信度系数大于0.85时，测验间才能应用个人之间的比较和评价。一般能力与团体智力测验的信度系数在0.90以上；标准化成就测验一般在0.85以上；人格兴趣等测评的信度系数通常在0.80-0.85之间；对于个性和价值观等方面测验，非标准化的多项选择或问卷信度系数要介于0.75-0.85之间；对于0.65用于投射测量则是较低信度。四、信度的类型l、重测信度(1)含义：又称稳定性信度，它是根据信度的定义而来的，是指用同一种测量工具或测评方法在不同的时间对同样的被试或被试群体施测两次所得结果之间的相关关系。(2)适用情境和注意事项①适用情境：第一，只能在允许重测的情况下才能进行；其次，测量的心理特质必须是稳 定的：第三，练习要与遗忘的影响相互抵消；第四，要尽量保证两次测验的条件相同，尤其是容易受环境影响的心理特质，以减少随机误差；最后，所选取的样本应该具有代表性，且样本量要够大。②注意事项：第一，两次测量的时间间隔必须适度。通常对于人格测评重测时间在两周到6个月之间比较合适；智力测验的间隔时间一般是6个月左右。第二，第一次的测量可能会改变测量对象的特征。第三，同样的测量工具由于重测的时间不同得到的重测信度可以是不同的。第四，重测信度系数可能会由于被测项目自身之间的相关而偏高。第五，重测信度一般只反映由随机因素导致的变化，而不反映被试行为的长久变化，而且不同的行为受随机误差的影响不同。另外，重测信度的优点是能够提供测量数据随时间变化而改变的结果，为预测被试将来的行为提供依据。缺点则容易受第一次测验的影响，练习和记忆的效应比较大。2、复本信度①含义：复本信度是用两个平行的测验来测量同一群体，然后求得被试在这两个测验上得分的相关系数，这个相关系数就称为复本系数。如果两份测验是同时连续施测，则这时求出来的相关系数称为等值系数；若两份测验不是同时实施，即间隔一段时间在再施测，这样得出来的相关关系系数为稳定性与等值性系数。复本信度的高低反映了这两个测验复本在内容上的等值性程度。②注意事项和优缺点：注意事项：首先要注意的是为了抵消测验的顺序效应，一般可以先用量表对随机抽取的一半人进行测定，然后再用复本进行测定；相应的另一半人则先用复本测验，再用原测验进行评定。另外还需注意的是，在计算稳定性与等值性系数时，它也是在间隔一段时间后测量，所以在报告时也应说明两次测量间隔的具体时间，还有被试在这段时间内特殊的经历。复本信度的优点：1)它是测量信度的一种好办法，能够考察信度在不同时间和不同内容上的结果：2)能够避免重测信度的一些问题，如记忆效果和练习效应等；3)适用于进行长期追踪研究或研究某些干涉变量对测量结果的影响；4)减少了作弊的机会；复本信度的局限性：1)如果测量行为易受练习、记忆、成长的影响，则复本信度能减少而不能消除这种影响；2)有些测验的性质会由于重复而发生改变：3)编制测验复本相当困难；不但费时而且费钱，而且也很难构造出内容上完全等价的量表；4)测量误差的相关性比重测法低。3、内部一致性信度内部一致性信度主要反映的是测验内部题目之间的关系，考察测验的各个题目是否测量了相同的内容或特质。它是把一个测验的项目分成不同的样本，计算样本间的相关系数。内部一致性信度包括分半信度和同质性信度。(1)分半信度①含义：分半信度是测量内部一致性的简单方法，也是最早的指标。分半信度是通过将测验的项目分成对等的两半，计算这两半测验之间的相关系数而获得的，这两半测验相关系数高，则说明量表内部一致性高。②计算方法：用斯皮尔曼一布朗公式进行校正。③注意事项第一，分半信度会受到分半法的影响，划分分半的方法不同，得到的信度系数也不同。 第二，分半信度系数的估计要求两半都是等值的，如果两半不等值就会产生估计的偏差，等值性越低，偏差越大，因此当一个测验不能分成等值的两部分时不能选用分半信度。第三，对测验进行分半时，如遇到上下有联系的题目时，应该把这些题目放在同一半测验中，这样可以避免高估信度值。第四，测验为速度型测验或题目中有任选题时，不适合选用分半法评估信度。(2)同质性信度①含义：同质性信度是指测验内部的各题目在多大程度上考察了同一内容或特质，反映的是测题内的一致性。②计算方法：K-R20和K-R20公式，克朗巴赫提出了适用各种记分情况的a系数来估计内部一致性系数，作为信度的指标。4、评分者信度①含义：是指不同评分者对同一组对象进行评定时的一致性程度，这种信度分析主要用于通过面试与观察评定等主观性的测评方法获得的结果的可靠性分析。②计算方法：采用斯皮尔曼等级相关方法，得到的结果超过0.9则认为评分的客观的。如果评分者多于2人，采用的是等级评分的方式，这时可以用肯德尔和谐系数或W系数来进行信度估计。五、信度的影响因素影响信度的因素有很多，主要包括：1、主试的因素首先，实施测验时主试必须事先熟悉测评工具、理解测评的标准、了解测评对象的特征等。其次，主试的个人素质，如认真负责的态度、公道与否、情绪状态、测评经验等都会影响到信度。再者，评分者也会对结果产生影响。2、测评工具影响测评工具质量高低的因素主要有测验长度或题目数量、测验难度、区分度、测题的范围、题目的取样、测评工具的选用等。3、被试因素首先从单位被试来说，被试的动机、注意力、态度、身体状况、疲劳等都会导致误差。测量对象的样本特征也会对信度的高低产生一定的影响，团体导质性，信度就高，样本团体的平均能力水平不同信度也就不同。第二节人事测量的效度效度指测量的有效性，即能够测量到所要测量目标的程度。它是人事测量中另一个重要的评价指标。一、效度的内涵效度从心理测量理论角度来讲，可以定义为“与测量目标有关的真实分数的方差与总分方差的比率”。测验的信度高，并不一定能够保证测验的效度也高；测验的效度高，则信度一定高。测验的信度是效度的必要条件而非充分条件。信度与效度的差别在于所考虑的误差不同。信度考虑的是随机误差的影响；效度的误差则还包括系统误差。效度是指“测量结果的效度”，是指测量结果的准确性程度，而不是测验本身。另外，效度具有连续性，效度高低只是程度上的差异而已，不是“全”或“无”的变量。 二、效度的类型与评估方法1、内容效度(1)定义：内容效度是检查内容是否是所要测量的行为领域的代表性取样的指标。内容效度的主要特性：①范围的特定性；②时间的特定性；③容易与表面效度混淆。要确定内容效度有两个前提条件：一是内容范围明确，二是取样有代表性。其中最有效的方法是编制双向细目表，它是以目标为横轴、以内容为纵轴的细目表、把所有要测量的内容包括专业领域、目的目标、内容与目标之间的关系、内容及行为目标在题目上所占的比例等都反映出来。(2)评估方法(1)、通常是由专家根据测验题目和假设的内容范围做系统的比较判断。(2)、内容效度的确定还可以采用经验分析方法。(3)、除描述性评估方法之外，内容效度的确定也可以采用一些统计分析的方法，计算两个评分者之间评定的一致性，即考虑评分者信度；复本信度来作数量上的估计。2、效标关联效度(1)定义：效标关联效度，也称效标效度，反映的是测验分数与外在标准的相关程度，即测验分数对个体效标行为表现进行预测的有效性程度。效标效度主要考察的是测验分数与效标之间的关系。根据效标材料收集时间的不同，可以将效标效度进一步区分为预测效度和同时效度。预测效度的效标材料往往是测量结束后一段时间才获得，它反映的是由测验分数对任一时间间隔后被试行为表现的预测程度。同时效度的效标材料可以和测验分数同时收集。同时效度和预测效度差异根源并不是收集效标资料的时间，而是在于测验目的的不同，同时效度多用于诊断现在的状态，而预测效度多是用于预测未来的结果。(2)常用的效标①学术成就；②特殊训练成绩；③实际工作表现；④团体对照；⑤等级评定；⑥先前有效的测验。3、构想效度构想效度是指测验能够测量到理论上的构想或特质的程度。(1)确定构想效度的方法和步骤确定构想效度的方法包括：①测验内部的方法：使用测量内部效度、内部一致性等指标；②测验间的方法：使用测验内容效度、区分效度和会聚效度等指标；③效标关联效度法：使用测量发展变化等指标；④实验和观察方法。确定构想效度的步骤包括：①建立理论框架，以解释被试在测验中的表现；②根据理论框架，推演出各种有关测验成绩的假设；③用逻辑和实证的方法来验证假设。(2)确定构想效度的指标①与同质同类测验高度相关。②因素分析。⑧会聚效度和区分效度。会聚效度是指测验与测量相同特质构想等理论上有关的变量存在高相关。区分效度是指测验结果与测量不同特质或构想的变量存在低相关。三、效度的影响因素 1、测验的因素①测验题目的质量；②测验实施中的干扰因素；③被试的因素；④测验的长度。2、样本团体的性质效度系数也会受到取样团体分数分布的影响，如果其他条件相同，样本越同质，其效度越低；反之，样本异质性越大，效度越高。3、效标的性质如果在其他条件相等时，所测量的行为与效标行为越相似，则效度系数就越高。另外，效标与测验分数的关系类型也直接影响效度系数。4、信度的影响效度系数的最大值与信度的高低直接相关，即一个测验的效度不会超过其信度的平方根，信度是效度的必须要非充分条件。如果增加测验的总方差，即增加题目或选取异质样本团体，对于效度’的影响来说是不确定的。第三节人事测量的项目分析项目分析是根据被试的反应对组成测验的各个题目即项目进行分析评价、调整和完善。它包括定性分析和定量分析，而定性分析有包括分析内容效应、题目编写的恰当性和有效性等，定量分析则主要是测量题目的难度和区分度。一、难度分析难度：是测验项目的难易程度。通常是以通过率的形式来表示的，即答对或通过该题的人数百分比来表示。用P=R/Nx100%，通过率表示难度时，通过人数越多，P值越大，题目越容易，难度越低；P值越小，难度越大。高分组和低分组的具体做法是：根据测验总成绩将被试分为3组，其中分数最高的27%的被试为高分组，分数最低的27%的被试为低分组，中间46%的被试为中间组；根据这个分类来计算高分组的通过率和低分组的通过率，最后求题目的难度。公式为：P=Ph+Pt/2二、项目鉴别度分析鉴别度，也称为区分度，是指测验题目对于所研究的心理特性的区分程度或鉴别能力。鉴别度进行分析，可以从项目效度和内部一致性两方面入手。项目效度主要以效标为依据，考察被试在每个题目上的反应及其在效标上表现的相关情形，并由此得到相关系数和鉴别度指数两个相关指标。另一种非常方便地计算和衡量项目鉴别度的方法是采用鉴别度指数，它是比较效标得分高的被试和效标得分低的被试在某道题目上的通过率的差值：公式表示为：D=PH-PL。美国测量专家伊贝尔提出了鉴别度指标的大致标准可供参考：表5-1项目鉴别度指数与质量评价鉴别度指数（D)试题评价0.40以上题目质量很好0.30-0.39题目良好，最好修改0.20-0.29题目尚可，必须修改0.19以下题目差，必须淘汰三、内部一致性分析 通过分析项目的内部一致性来确定区分度。项目效度代表题目与外在效标的关系，内部一致性则更多地代表题目与总分的关系，通常可以用测验各部分与测验总分之间的相关指标来检测项目区分度。内部一致性分析包括：(1)、对项目反应与总分的相关程度，称为项目一总分分析，二列相关关系数来表示内部一致性的高低；2、比较总分高低两组被试在每道题上通过率的差异，求得鉴别度数指数D的高低；3、分析总分方差与它所包含的各个试题方差的相关；4、计算每道题与其他所有题目合成分数之间的相关。’选择较高的内部一致性题目，并不一定与外在标准存在很高的相关；而部分具有很高项目效度的题目与测验总分之间并一定存在高相关；项目效度和内部一致性有时候是矛盾的，在进行分析时一定要全面地考虑问题。究竟选择何种鉴别度指标作为选择题目的依据更为合适？一般根据测验的目的确定。如果测验是预测性测验，则应该多采用项目效度较高的题目，这样各个题目对预测外在效标都有较大的贡献；如果测验要求同质，即希望各个试题都能测量同一特质，则应该选择内部一致性较高的题目。有时这两种方法也结合使用。【课后练习】一、名词解释l、系统误差2、随机误差3、双向细目表4、重测复本信度5、会聚效度和区分效度6、项目分析7、难度分析二、问答题l、信度的作用和功能？2、信度的种类有哪些？3、影响信度的因素有哪些？4、信度与效度有何关系？5、效度的种类有哪些？及其它们评估方法？6、心理测验中常用的效标有哪些？7、影响效度的因素有哪些？8、鉴别度分析与内部一致性分析的区别与联系。