资源描述：
《标准参照测验及其等级线信度的概化理论分析_杨志明.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。
1、第23卷心理学探新2003年总第87期PSYCHOLOGICALEXPLORATION第3期标准参照测验及其等级线信度的概化理论分析杨志明(香港中文大学教育心理学系,香港)摘要:在测量工作中,误用经典测验理论方法估计标准参照性测验的整体信度和等级线决策信度的情况非常突出。如,无论测量设计是交叉的还是嵌套的,也无论测验结果是做常模参照性解释,还是做标准参照性解释,测验工作者往往只报告克龙巴赫α系数或经典测验理论中的其它少数几个信度指标,而误把整体信度作为等级线信度的现象则更加普遍,这是十分不妥的。本文借用概化理论中的可靠性指数Ф
2、和Ф(λ)公式,分别针对交叉设计和嵌套设计,就标准参照性测验的整体信度和等级分数线决策信度的估计问题进行了探讨。用数据演示的方法比较了交叉设计与嵌套设计在估计标准参照性测验整体信度方面的差异,展示了等级决策分数线决策信度的估计方法。关键词:概化理论;标准参照性测验;等级线决策信度中图分类号:G449.1文献标识码:A文章编号:1003-5184(2003)03-0052-051引言2研究设计随着考试事业的发展,以“达标定等级”为主要2.1标准参照性测验的选择特色的各类国家级标准参照性测试(Criterion-ref-为便于解释
3、,本研究选择普通话水平测试为研erencedTest)越来越多,但在实际工作中误用经典究对象。这种测试的一个特点是:记分方式为扣分测验理论(ClassicalTestTheory,CTT)方法估计其的方式。即只计算读错或用错字、词、句的情况。因整体信度和等级线决策信度的情况却非常突出。此该测验一般只能得到每个考生在测验三个部分上如,无论测量设计是交叉的还是嵌套的,也无论测验的分数和一个总分数,并要将这个总分归入三级六1结果是做常模参照性解释,还是做标准参照性解释,等中的某个类别。这种特点使得CTT中那些基测验工作者往往只报告克
4、龙巴赫α系数或CTT中于每道试题都有一个分数的信度估计方法不太适的其它少数几个信度指标,而误把整体信度作为等用。级线信度的现象则更加普遍。事实上,CTT所估计普通话水平测试的另一个特点是:测验分数完的信度系数以及测量标准误,“主要适用于纸笔方式全依赖于评分者的素质。通常,测验题目对考生的的常模参照性测验(Norm-referencedTest),针对影响最大,但普通话测验的内容基本上是固定的三的是被试测验总分。因为一个测验只有一个总分,个方面(字、词、句),并有国家级的标准化试卷,因于是所有接受了同一个测验的被试的总分,不论是
5、此,测验题目所带来的误差会相对较小。我们要关极端的高分还是极端的低分,或者是中部的分数,全注的主要因素是评分者的素质。都有一个相同的测量标准误。……这也是经典信度2.2交叉设计测量模式的数据结构特点[1]理论的一大局限,……”即,CTT方法仅仅适用于目前,普通话水平测试主要有两种模式:其一是常模参照性测验的信度估计,而且是用样本均值估交叉设计模式(如表1所示),其二是嵌套设计模式计总体均值时的整体信度的估计,并不适用于标准(如表2所示)。参照性测验的信度估计,更不适用于等级线决策信交叉设计的一般模式是:所有考生(p)作答相同度
6、的估计。因此,有必要推广新的方法。本文将借的问题(i),并同时由若干个评分者(r)评定分数,评[2～13]用概化理论(GeneralizabilityTheory,GT)的分者给出的平均分即为该考生的最后得分(有时在原理,采用数据演示的方法来讨论标准参照性测验去掉最高分和最低分后再求均值)。表1是虚拟的的整体信度及其等级线决策信度的估计问题。10个考生均由4个评分者评定的成绩。第3期杨志明等标准参照测验及其等级线信度的概化理论分析53表1虚拟的4个评分者评定的10个考生普通话水平测试3个部分的成绩和总成绩r1r2r3r4总分(
7、i1,i2,i3)总分(i1,i2,i3)总分(i1,i2,i3)总分(i1,i2,i3)182(31,33,18)78(33,35,10)92(35,37,20)88(31,35,24)280(24,35,21)75(28,32,15)81(34,35,12)84(34,35,15)376(25,33,18)70(24,26,20)75(27,28,20)80(26,34,20)489(31,36,22)82(29,35,18)88(33,37,18)87(32,37,18)552(20,21,11)60(18,26,16)
8、65(19,27,19)67(19,29,19)673(23,30,20)67(19,29,19)74(28,30,16)69(18,30,21)760(24,26,10)64(18,28,18)80(25,34,21)83(28,35,20)867(26,25,16)72(
