a study on rater bias patterns in rating cept writing

《a study on rater bias patterns in rating cept writing》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、AStIldy∞Ra嘧BiasPa仕啪lsill删ngCEPTEssaywri血g摘要为了对写作分项评分和整体评分进行进一步研究，检验其信度及评分偏差，本文主要通过项目反映理论及分析工具Facets对分项评分和整体评分进行信度以及偏差分析，并总结评分员在对各个评分项目以及不同水平考生评分时表现出的偏差规律。其中，整体评分表现作为参照，将分项评分的各个维度的评分信度进行比较．研究步骤分为以下三步：1．对已有成绩的写作样本分层抽样，从高到低lO个级别的300份作文；2．15位有足够评分经验并有代表性的评分员完成对300篇作文的整体和

2、分项2组评分实验；3．对测试结果进行初步检验，进而进行多侧面分析，检验评分信度并总结评分特点及规律。研究结果显示：(1)两组评分具有相似的宽严度水平，分项总分的宽严度与整体评分十分接近并且其偏差水平最低，15位评分员的内部一致性都较好，评分员9号，12号和10号显示出相对明显的趋中趋势；(2)“分项总分”只与】5号评分员有一组显著性宽松偏差，10号评分员只对“语法”存在显著性宽松偏差，评分维度中“标点和大小写”与“任务”的显著性偏差方向相反，“整体评分”与“任务”偏差方向相同；(3)显著性宽松偏差明显多于显著性严格偏差，评分员更

3、容易对高水平考生产生显著性偏差，且呈现出对高水平学生更宽松和对低水平学生更严格倾向，1号评分员评不同水平作文不存在显著性偏差，2号评分员的显著性严格偏差多于宽松偏差，不同于其他评分员；(4)Facets能够在探索系统性规律性偏差方面给出答案，并且结论有助于评分培训。本研究结果表明在本研究样本和对象的范围内，可针对易产生偏差的评分维度及学生群体进行专门的评分员培训，对评分量表上维度的描述及评分员的理解进行调整，以达到对量表同样的诠释，减少评分偏差，这对培训和评分量表的解释及改进有实际应用价值。本文最后还提出了研究中的不足以及有待进

4、一步研究的问题。关键词：写作评分，信度，评分员偏差特点，多侧面Rasch分析，评分量表II硕士学位论文AbstractInordertohaVeafurtherstudyonwritingscoring，includinganal”icscoringandholisticscoring，thestudy，basedonIRTtheoryandmulti-facetRaschmodel，adoptedstatisticsoRwarepackageFacetstodetectthereliabilityandbiasinteract

5、ionsinanalyticscoringandholisticscoringasweUasattempttosummarizesystematicpattemsinraterbias．TheholisticscoringwasinVolvedasareferenceforobseⅣinganalyticscoringresults．Theproceduresoftheresearcharesummarizedasf．0110ws：6rst，selectwritingscriptsbasedonstratifiedsamplin

6、gmethod；second，fifteenraterswithsu艇icientratingexperienceratea11thewritingscriptsintworatingsessions；andthird，afteraprimaryexaminationofthedata，conductmulti-facetRaschanalysistogetthereliabilityandobserveratingbiaspattemsandsystematicbias．Seenfromthedataanalysis：jEir

7、st，analyticscoringhadsimilarseVerityleVelwithh01isticscoringandhadtheleastbiasinteractionswith15raterswhoallexhibitedgreatintra-raterreliability，thoughraters9，l2and10showedrelatiVeIymorecentraltendency；second，thefinalanalyticscoringhadonlyone1enient-biasinteraction，w

8、ithrater15，whilerater10hadonlyonelenient-biasinteraction，withcategor)r“grammar”．Ratersshowedreversebiasdirectiontowardscategory“tas