资源描述：
《计算机自适应测验中测验安全控制方法评述》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。
1、计算机自适应测验中测验安全控制方法评述本文由iris028贡献pdf文档可能在WAP端浏览体验不佳。建议您优先选择TXT，或下载源文件到本机查看。心理科学进展2010,Vol.18,No.8,1339–1348AdvancesinPsychologicalScience计算机自适应测验中测验安全控制方法评述*李铭勇1张敏强1简小珠1,2(2井冈山大学,吉安343009)(1华南师范大学应用心理研究中心,广州510631)摘要计算机自适应测验在实际应用中曾经受到了测验安全问题质疑。国内外学者主要从两种研究思路提出了测验安全控制的方法：一是控制项目的最大曝光率,沿着这个思路发展出来的方法有
2、SH法、项目合格方法、多重最大曝光率法等;二是改进选题策略,沿着这个思路发展的方法主要是a分层法及其变式。此外,近年来出现了测验安全控制方法之间相结合的研究思路。本文从均方误差、项目曝光率、题库利用率等指标论述了测验安全控制方法的优缺点,并概述了这些测验安全控制方法的研究发展历程与发展思路,展望了今后的研究趋势。关键词分类号测验安全;SH法;项目合格方法;多重最大曝光率法;a分层法。B841说,项目的信息函数是：1CAT中测验安全控制的研究背景1.1CAT在教育与心理测验实践中的应用计算机自适应测验(ComputerizedAdaptiveTest,CAT)是现代测量理论与计算机技术相
3、结合的产物。与传统的纸笔测验相比,CAT具有诸多优点,例如：它能够根据被试能力水平选择相适应难度的试题,进行施测;不同的测验成绩具有可比性;不需要安排在固定的时间、固定的地点;能够实时评分等等,使得国内外学者对CAT的理论研究和应用研究越来越多。美国的许多大型考试,如GRE(研究生入学考试)、TOFEL、CGFNS(护士资格考试)、SAT(学术能力测验)、GMAT(美国商学院入学考试)、ASVAB(美国军队职业能力倾向测验)等都使用了CAT的形式;国内的一些考试也采用CAT形式,比如全国大学英语四、六级考试(试用阶段)、台湾初中升高中的基础知识测试(简称“基测”)等等。1.2CAT的选
4、题策略及由此产生的项目曝光率问题由于CAT根据被试能力水平选择能提供最大信息量的试题,因此一些测量性能优良的试题往往会被优先选择。对于三参数Logistic模型来收稿日期：2010-03-28*广东省自然科学基金(9151063101000002)、教育部人文社科基地项目基金(2009JJDXLX006)资助。通讯作者：张敏强,E-mail:zhangmq1117@yahoo.com.cn1339Ii(θ)=(1.7)2ai2(1?ci)[ci+e1.7ai(θ?bi)][1+e?1.7ai(θ?bi)]2(1)其中a、b、c分别是区分度参数、难度参数、伪机遇参数。由公式1可知,项目的
5、a参数越大、c参数越小、(θ?bi)越小,则越能够提供更大的信息量。IRT中定义测量误差为测验信息量的平方根的倒数(漆书青,戴海琦,丁树良,2002),即：SE(θ)=1∑I(θ)ii(2)由公式2可知,测验信息量越大,对特质点θ?的估计标准误就越小,此时CAT能得到最大的精确性。因此,CAT的选题策略往往是最大项目信息量法或其变式。基于最大项目信息量的选题,必然使高a参数、c参数的项目选中的几率非常大;反之,则低选中几率就低,甚至为零,这就导致了题库曝光的程度极不均衡。试题曝光率问题在最早的CAT测验ASVAB-CAT就进行了探讨,并使用了试题曝光率控制方法(Sands,Waters
6、,&McBride,1997)。1.3CAT在实践应用中的试题泄露问题由于CAT不像纸笔测验那样,安排在固定的时间、地点考试,而是一年中反复举行多次,所以已经参加过考试的考生就有可能将试题泄露-1340-心理科学进展2010年给将要参加考试的朋友,这种考生之间的题目分享行为会导致得到试题的考生分数偏高。而更为严重的是有组织的盗题行为(organizeditemtheft),这会对题库造成巨大的伤害。在CAT的历史上曾经出现两次较大的盗题事件,一次是1994年Kaplan教育中心的盗题事件(张华华,程莹,2005a),另外一次是亚洲非法网站公布GRE真题事件,这两次事件都使得ETS公司被
7、迫暂时放弃机考,即计算机自适应考试形式,改为传统的纸笔测验形式。而自2002年8月7日,ETS终止了在中国内地、香港、台湾地区和韩国的CAT-GRE之后,至今尚未恢复机考形式,给这些地区的考生造成了极大的不便与困扰。CAT是一种新型的测验形式,是考试方式的一次伟大变革。如果仅仅因为测验安全问题而被迫暂时放弃CAT考试形式是非常可惜的,但是题库的容量是有限的,而题库又必须高频地运行,测验安全控制问题就变得极为迫切。许多研究者都已经从多个角度与思路
