从写作测验信度研究看开放式测评的发展趋势——概化理论的视角-论文.pdf

《从写作测验信度研究看开放式测评的发展趋势——概化理论的视角-论文.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、2014年第2期海外华文教育No．22014(总第71期)OVERSEASCHINESEEDUCAT10NGeneralSefialNo．71从写作测验信度研究看开放式测评的发展趋势——概化理论的视角冯瑞龙朱宇(北京师范大学香港浸会大学联合国际学院，中国珠海519085；厦门大学海外教育学院，中国厦门361102)摘要：开放式测评是测评界最新动向之一——真实性测评依据的主要题型，也是能给测评的各种用家提供丰富信息的重要测评方式。但同时，其信度较低这一问题也一直困扰着测评界。本文梳理、比较了当代测评界共存的经典测量理论、项目反应理论和概化理论三

2、大信度流派，发现基于概化理论的研究结果通常能对测评各种来源的误差有较好的估算，从而可以为试卷及阅卷的设计与改进提供有价值的参考，并最终达到改善测评信度的目标。在此基础上，本文以写作测验为例，述评了近20年来概化理论在国内外开放式测评信度研究的应用，探索了其发展动向，力求为今后的相关研究拓宽视野。关键词：开放式测评；信度；经典测量理论；项目反应理论；概化理论中图分类号：G449文献标志码：A文章编号：2221-9056(2014)02_o160-o8一、引言开放式测评具有悠久的历史。所谓开放式测评指测验题目的正确答案并非唯一固定的，被试可以甚至

3、被鼓励作出基于自身理解的独特解答。开放式测评有着封闭式测评无法比拟的优越性，因为被试对其作答往往能向各种测评成绩用家提供丰富的信息。这些信息可以被用于更好地理解被试被测评的知识、态度或能力，使测评的诊断性功能更加强化、更具个体性，并最终更好地达到通过测评帮助改善教学或帮助被试进步的目标。开放式测评的这一优点还使它在教育以外的多种测评中大有用武之地。但同时，开放性测评与封闭式测评相比又有着自身的劣势，除了评5Y／级标准难以厘定、过程费力耗时之外，最严重的问题恐怕就是其信度往往难以达到比较理想的水平了。而信度不仅是衡量测评质量的两个重要指标之一，

4、更是达至另一个指标一效度的前提条件。在很大程度上，人们甚至可以说，正是由于开放式测评不够严谨、科学，才导致了封闭式测评在近现代的产生与崛起。然而，随着教育与心理测量领域理论与技术的不断进步，信度，这一曾经威胁开放式测收稿日期：2014~2—17作者简介：冯瑞龙，男，澳大利亚格里菲斯大学文学博士，北京师范大学香港浸会大学联合国际学院副教授、博士生导师，研究方向为汉语言文学。朱宇，男，美国普渡大学教育学博士，厦门大学海外教育学院副教授、孔子新汉学计划博士生导师，研究方向为汉语国际教育与测评。Email：zhuyu@xmu．edu．cn基金项目：U

5、ICRese~chGrant(2012—13)R201307与教育部留学回国人员科研启动基金资助项目。·160·第2期冯瑞龙朱宇：从写作测验信度研究看开放式测评的发展趋势评的生存与发展的瓶颈性问题已经不再是无法突破和解决的了。本文即旨在通过比较信度理论当前并存的三个主流学派，甄选最适合通过改进测验设计提升测评信度的理论工具——概化理论，并在此基础上梳理、述评近2O年来概化理论用于指导写作成绩信度研究的案例，最后提出概化理论可进一步发展和完善的方向。限于篇幅，本文无法全面回顾以概化理论为视角的开放式测评信度研究，只能选取开放式测评的一个典型代表

6、。之所以选择作文考试为开放式测评的典型代表是因为作文这一考试形式历史悠久、广为人知，虽备受争议但始终难以取代，因此可谓开放式测评的常青藤式的代表。开放式测评能否有效提升信度，不仅关乎这种测评形式本身的命运，同时还与测评界的趋势性新潮流——真实性测评(authentictesting)的发展前途息息相关。可以说，如果信度问题不能找到有效解决途径，开放式测评就难以取得立足之地，真实性测评的崛起也就可能永远沦为纸上谈兵。那信度理论当今有哪些流派?其优势与劣势各有哪些?这其中适合通过改善测评设计提升开放式测评信度的理论是哪一个?这一理论指导下的研究现

7、状与动向是怎样的?所有这些问题的解答，都要从信度流派的分析与比较开始。二、信度理论流派的简介与比较(一)经典测试理论(CTI")的信度观经典测试理论将试卷观测分数的信度定义为真分数的方差与观测分数方差的比率。而观测分数的方差又等于真分数的方差和误差分的方差之和。由于真分数是无法预知的，所以上述定义是无法用于直接测算测验信度的。然而，通过平行试卷或者重复施测等方法是可以估算该测验的信度值的，例如常用的克朗巴赫和重测信度指标就是以这两种方法计算测验信度的典型代表。评卷员信度是经典测试理论对主观评分的测验所能考察的一项重要指标。经典测试理论通常将评

8、卷员信度分为评卷员间的一致性信度和评卷员内部一致性信度两种。评卷员间一致性信度(即Inter—raterReliability或IntraclassCorrelat