基于多面Rasch模型的评分效应分析.doc

《基于多面Rasch模型的评分效应分析.doc》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、基于多面Rasch模型的评分效应分析[摘要]本研究运用多层面Rasch模型分析软件分析了男、女各两名评分员评阅10篇作文的评分效应。这四名评分员有不同的工作背景和教学经验。所评阅的10篇作文从北京市某重点大学大一某班2009-2010年度期末考试的作文试卷中随机抽取。结果显示评分员对评分标准的理解及应用有所不同，且他们的工作背景和教学经验及其性别等因素都一定程度上影响着评分效应。因此，要想做到作文评分的客观性，必须在评阅之前对评分员进行培训，以期达到最佳效果。[关键词]多层面Rasch模型；评分员差异；评分信度在外语教学中，写作测试是检查学生书面表达能力的重要

2、手段。但是，考生作文得分的高低却具有比较大的偶然性。写作题目的评分,虽然有一定的客观标准,可是由于阅卷者对评分标准的掌握难免带有一定的主观性，所以，无论采用哪一种评分方法，评分结果，即分数，还是受到各种因素的影响。因此，如何可靠地进行作文评分，是教育研究的重要课题之一。对课堂教学而言，可靠的评分为教学提供诊断性反馈，为日常教学决策提供依据。因此，评分员是否能按照评分标准，给出如实反映考生写作能力的分数，将在一定程度上影响学生写作能力的提高与发展。本研究运用Rasch模型对四名不同评分员的评分行为进行分析，讨论其启示，并据此提出了一些建议。基于多面Rasch模型

3、分析评分员的评分行为，本研究试图解决以下三个问题：1）评分员的总体宽严度把握是否一致？2）评分员个人能否保持一致性？3）评分员的性别差异在评分行为上有何体现？一．研究背景写作评分是一种主观性的评分行为，评分结果是否可信受到各个方面因素的影响。其中评分员是影响评分结果的重要因素。评分员在评分过程中能否保持一致性，影响着评分行为是否公正。由于写作评估的性质，评分中的主观判段不可避免，因此很多因素都可能造成不同的评分结果，诸如评分员的工作背景、经历、个人对评分标准的理解与掌握、对受试者的期待以及对考试的看法、态度等。评分员可能无意识地将若干个人因素带入既定的评分标准

4、。McNamara[1]研究表明，评分员可能会出现以下差异：1）总体的宽严尺度不同；2）对某一组考生较严或较松；3）在某一方面特别严，比如书写、语法；4）理解和应用评分标准、给分的范围不同；5）个人给分的一致性等。同时评分员们在评分的严厉度上有很大区别，并且在作文评分中很难保持一致性。Rasch模型由丹麦数学家GeorgRasch创造，是项目反应理论在实践中的应用。它是一种单参数项目反应理论模型，经常用来分析多项选择题型中试题的难度和考生的能力，多层面Rasch模型则是Rasch模型的一种延伸，适用于分析任何非机器操作的写作阅卷[2]。它也经常用在主观试题的分

5、析中，可以实现在同一个洛基量尺（Logitscale）上分析主观试题中考生的能力、试卷的难度、阅卷老师的宽严度以及评分量表的准确度等方面的表现以及他们之间的交互作用[3]，同时还有助于判断各个方面的成分之间是否有显著差异，例如考生能力的区别、评卷人严厉程度的区别等等。此外，它也可以为每个方面进行Rasch模型拟合分析（fitanalysis）。很多研究[4][5][6][7][8][9]利用这个模型来分析诸如写作和口语等应用测试。由Linacre和Wright开发的电脑软件“FACETS”可以对评分员写作测试的评分行为做出分析和解释[1]。该模型适用于检验评分

6、员之间的一致性、评分宽严度差异、评分员理解和应用评分标准的差异以及评分员误差对个体考生得分的影响[10]；特别适用于检验评分行为，而且可以将检验结果反馈给评分员以期改进。该模型还有一个明显的优点，就是可以通过试题难度对受试者的真实能力做出评估。应用此模型分析评分行为可以分别获得关于评分员、受试者、评分员与受试者之间、评分员与试题之间、评分员与评分标准之间相互作用的信息，对如何理解测试结果、如何改进评分的组织工作等也大有帮助[10]。一．研究设计1．研究步骤研究者从北京市某重点高校非英语专业大一某班2009-2010年度期末考试50份试卷中随机抽出10份作文。这

7、些作文先由该班级的英语授课老师做出评分，然后再由其他3三名评分员根据同一评分标准再次对这10份作文评分。这样，每篇作文获得由4四位评分员分别给出的4个分数。4名评分员为男、女性各两名。1号评分员为该班级的英语教师，女性；2号评分员为无教学经验的在读研究生，女性；3号评分员为有三年大学英语授课经验的男性在读研究生；4号评分员为有过高中教学经验的在读研究生，男性。每位评分员有一份评分标准，简略地规定了评分内容及要求。满分为25分，分为五个等级：5）20-25；4）15-19；3）10-14；2）5-9；1）0-4。每一等级均有简短的文字说明，对内容、语言、语法、得

8、体性以及长度提出要求。评分员均按标准自