基于多元概化理论cet-set信度分析

《基于多元概化理论cet-set信度分析》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、摘要大学英语四六级口语考试(CET-SET)施考十几年来，影响力日益扩大，报考人数日益增加。但与之相关研究并不多。主观性考试历来被认为在拥有高效度的同时，考试信度难以得到保证。那么该考试目前施考条件下，考试的信度如何值得关注。概化理论是经典真分数理论和方差分析结合的产物，它在估计各类考试，尤其是主观性考试的施考信度情况方面有很强大的功能，通过对各个考察侧面分数误差来源的估计，可以发现误差的大小和来源，并在此基础上估计更广泛的施考情况下考试的信度情况。多元概化理论是一元概化理论的推广和发展，对由多个变

2、量合成的测量目标，可以提供各变量的分数的相关性和各变量的信度指数，并最终通过合成的信度指数来考察考试的信度情况。．本文在在多元概化理论的框架下，对2010年11月大学英语四六级口语考试(CE■SET)某考点的全部数据进行实证分析，考察目前施考情况下，大学英语四六级口语考试的信度情况，并估计更广泛的施考情况下，考试的信度变化情况。据此为考试决策者提供改善施考条件的建议。本研究主要考察评分员侧面，任务(话题)侧面在三个评分变量维度的信度情况和合成信度情况，并考察三个评分变量的权重设置对合成信度的影响。研

3、究的主要发现包括以下六个方面。第一，目前施考条件下，考试能等达到很高的信度；第二，三个评分变量维度上，大多数考场在概化系数和可靠性指数上显示出了非常高的信度。相比较而言，语言准确性和范围维度变量信度最高，话语长短和连贯性维度变量次之，语言灵活性和适切性最低；第三，随着评分员数量的增加，所以考场的信度都呈递增趋势，考虑到实际情况，每考场设置三个评分员数量达到能保证较高的信度，且考试成本不会有大的增加，可以取得最大的效果。第四，三个评分维度的权重设置虽然有提高的空间，但各个考场存在着差异性使得较目前的三

4、个维度6：5：4权重比例设置，没有更好的替代选择。第五，在考试任务(话题)侧面，此次考试所采用的四个任务(话题)中，信度都在可接受的范围内，但与其他三个相比，第二个任务(话题)的信度指数较差，在某些考场甚至合成概化系数和合成可靠性指数分别只有0．60330和0．52324，所以需对第二个任务(话题)深入分析，并防止在以后考试中采用类似的任务(话题)。除去依照所提出的五个研究问题而得到对应的五个研发发现之外，本研究另外两个还有另外两个发现如下：一，三个评分维度侧面超高的相关度结果表明，虽然表明了对三个

5、评分侧面进行合成得到合成分数具有合理性，但也显示出了在评分过程中，很多评分员的评分具有明显的“光环效应”，这可能会导致隐形的误差，据此建河北科技大学硕士学位论文议提供专门的培训避免此现象。二，评分员的信度随着考试时间的推进呈现出逐渐提高的趋势，这与评分员根据经验的积累逐渐改善评分行为有关，据此建议每次考前进行打分热身，以提高考试信度。本研究在多元概化框架下对大学四六级口语考试(CET-SET)信度进行分析，为改善施考条件提供实证依据和建议，具有较大实际价值，同时对同类主观性考试也提供了参考，有较大的

6、理论意义和实际意义。关键词多元概化理论；大学英语四六级口语考试(CET．SET)：信度；评分员侧面；任务侧面；评分维度UAbstractCollegeEnglishTest-SpokenEnglishTest(CET-SET)hasbeenadministeredformorethanadecadeandithasachievedgreatSUCCESSandattractedever-increasingpopulation．Butthereisveryrarestudiesconductedon

7、CET-SET．Itisgenerallyclaimedthatthesubjectivetest，asCET-SET,maintainshighvaliditybutlowreliability．SoitisworthwhileofexaminingthereliabilityofCET-SETincurrentadministeringcontext．CombiningvarianceanalysiswithCTST,GThaspowerfulfunctioninestimatingtherel

8、iabilityofvarioustests，especiallythesubjectivetest，whichmakesthespecifiederrorsdistinctionpossible．Uponthevarianceandcovariancecomponentsestimatingofeachfacetinthecurrentadministeringcontext，thereliabilitysituationofcurrentcontextaswell