认知诊断之测验分析即时服务系统.pdf

《认知诊断之测验分析即时服务系统.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、認知診斷之測驗分析即時服務系統林原宏國立臺中教育大學數學教育學系11/26/2009本講義只授權供11/26/2009於臺北市立教育大學演講使用2009年版版權所有，請勿翻印1認知診斷之測驗分析即時服務系統：協助補救教學與試題命題的平台林原宏國立臺中教育大學數學教育系第一節前言測驗資料分析是評量過程中重要的一環，而分析結果的訊息可提供教學實務上的重要訊息。在測驗學理與學校實務的應用上，「補救教學」與「試題命題回饋」可依據測驗分析結果來做判斷，然而這方面的理論模式頗多，有些數理理論高過於實務應用；另一方面，資料分析軟體的缺乏也是造成無法應用落實的因素。基於上述，本

2、系統方案旨在發展一個認知診斷之測驗分析即時服務系統，此系統是一個提供補救教學與試題命題的平台，免費開放給學校教師使用。這是ㄧ套結合二元計分模式下，S-P表分析(studentproblemchart)和次序理論(orderingtheory)，以及多元計分模式下，多元計分S-P表分析(polytomousstudentproblemchartchart)、多元計分次序理論(polytomousorderingtheory)和多元計分概念詮釋結構模式(polytomousconceptadvancedinterpretivestructuralmodeling)所

3、建構成的即時診斷系統，當教師們把學生試題反應輸入服務系統後，就能將學生分成數個類別並且得到個別的試題階層次序結構圖，不再只是ㄧ個分數，而是ㄧ份能夠評估學習的成效和其問題所在，因而做出適當的判斷，並且作為目前學習情況調整的資料。若再輸入測驗試題屬性資料至系統中，即可得到學生在概念學習後的精熟程度，以及個人化的概念階層結構圖，提供實施補救教學時的參考依據。此系統基於S-P表分析、次序理論以及概念詮釋結構模式，可具體提供下列功能：一、二元計分與多元計分S-P表分析提供的學生注意係數(studentcautionindex,2CS)，提供學生學習診斷參考。二、二元計分與

4、多元計分S-P表分析提供的試題注意係數(itemcautionindex,CP)，提供試題性質參考。三、二元計分與多元計分次序理論提供試題的階層性和次序性，提供學習評量的訊息。四、根據二元計分與多元計分S-P表分析和次序理論的整合分析，能整理出各種學習類型學生的試題的階層性和次序性。五、概念詮釋結構模式分析提供受試者於各概念的精熟度數據，並繪製出受試者個人化的概念階層結構圖。第二節S-P表理論基礎一、S-P表分析理論(一)S-P表的意義S-P表(student-problemchart)又稱為學生問題表，是由佐藤隆博(TakahiroSato)於1975年提出。

5、其根據作答反應資料所得之診斷資料可以知道學生的學習成效及試題是否恰當，這種方法適合用於小樣本數的班級人數之形成性評量(Takeya,1980；Tatsuoka,1984)之測驗資料分析。S-P表是在分析學生及試題的作答反應組型的注意係數(含學生注意係數及試題注意係數)，以及整份測驗的差異係數和同質性係數。這些指標都是用來協助教師診斷學生表現、測驗品質的有效工具，以作為改進教學、命題與輔導學生之參考(游森期、余民寧，2006)。S-P表所關心的是學生在測驗上的「作答反應組型」(itemresponsepattern)，嘗試以幾個指標化數據，做為診斷或判讀該反應組型

6、是否為不尋常或異常的一種測驗分析方法。對於一個資料矩陣而言，假設共有N(i=1,2,",N)位學生和M(j=1,2,",M)的二元計分試題，令矩陣Y=(y)為N位學生在M個試題ijN×MM上的反應資料矩陣。此外，令yi•=∑yij為第i位學生的總分且學生已經過排序j=13N為y1•≥y2•≥"≥yN•。同樣地，令y•j=∑yij為第j個試題的答對人數，且試題i=1已經過排序為y≥y≥"≥y。以下為學生注意係數(CS)和試題注意係數(CP)•1•2•MMN11之計算公式，其中u'=∑y•j且u=∑yi•。則第i位學生的注意係數CSi和Mj=1Ni=1第j個試題的注

7、意係數分別為：MN∑(yij)(y•j)−(yi•)(u')∑(yij)(yi•)−(y•j)(u)j=1i=1CS=1−和CP=1−iyjyi••j∑y•j−(yi•)(u')∑yi•−(y•j)(u)j=1i=1(二)S-P表製作過程1.假設有N(i=1,2,",N)位學生在M(j=1,2,",M)個二元計分試題上的作答反應資料矩陣。2.將學生總分從高到低，由上而下排列。3.將試題答對學生人數從高到低，由左而右排列如以下範例（余民寧，2002）：試題學生總分123456789109100010110001011591000201111100106910003

8、010000101039