在测验编制的应用

《在测验编制的应用》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、IRT理論在測驗編製的應用潘靖瑛慈濟大學教育研究所教育心理測驗發展迄今將近一個世紀，其理論發展精微，應用廣泛。測驗理論大致可分為二：一為古典測驗理論（classicaltesttheory）；一為項目反應理論（itemresponsetheory,IRT）。「古典測驗理論」發展最早，計算簡單，立論淺顯易懂，因此發展至今近一個世紀仍被廣泛使用。然「古典測驗理論」的試題指標估計受樣本影響，難以比較受試者的能力，複本假設難以實施，且無法預測受試者在新的測驗的可能表現（王寶墉，民82）。因此近半個世紀以來，現代心理計量學者以強勢的假

2、設、嚴謹的立論、複雜的計算發展出新的理論，以克服「古典測驗理論」的侷限與缺失，此即為「項目反應理論」（簡茂發，民87）。Lord(1952)發表雙參數常態肩型模式(twoparameternormalogivemodel)的參數估計應用，被視為是IRT的源起，而後的心理計量學者陸續發展出單參數、三參數等函數模式，其所用的公式或許不同，然起始目的皆以修正「古典測驗理論」的缺失為導向(Wright,1977)。因此「古典測驗理論」缺失的修正便成為IRT的優點，以下為IRT的五項優點：1.試題參數如難度、鑑別度、猜測度，不因樣本不

3、同而異。2.對考生能力之估計，不因測驗難易而不同。3.測量標準誤的估計因考生程度而不同。4.試題難度與個人能力估計值為同一量尺，方便測驗結果的解釋與預測。5.IRT以試題訊息量(iteminformation)及測驗訊息量(testinformation)來編製測驗，及評定測驗的「測量準確性」，因此在考生能力評估上，IRT比「古典測驗理論」更為精確（許擇基，民84）。「古典測驗理論」在編製測驗時，主要的考量是試題的內容及試題的參數（如難度和鑑別度等），其編製程序為先挑選出鑑別度較高的試題，再就該測驗的目的及考生的能力分布情形

4、，挑選難度合宜之題目組成測驗（余民寧，民85）。事實上「古典測驗理論」在編製測驗上有兩大問題。第一是樣本依賴（sampledependent）。亦即使用的試題指標會隨著估計該指標值的考生樣本的不同，而得到不同的數值，因此其難度、鑑別度及選項的誘答能力值都不是不變的(invariant)。再者用以估計這些指標的樣本，是否能適切的代表即將發展的測驗1所要測量的考生母群體，便直接影響發展該測驗的選題效能。第二是評估測驗的測量精確度。「古典測驗理論」是以信度(reliability)及測量標準誤(standarderrorofmea

5、surement,SEM)來檢證之。測量標準誤是由信度計算而得，然信度的估算同時受試題參數的影響及試題與其他試題間的關聯程度的影響，因此測驗發展者常無法決定某個試題的加入與否對該測驗的信度影響為何，因此無法在建構測驗時即掌握測驗的測量精確度（余民寧，民80）。IRT以「訊息函數」來建構測驗，可以解決「古典測驗理論」在編製測驗時的困難與缺失。使用「訊息函數」建構測驗的最大優勢是可以依據該測驗的目的，挑選試題訊息量合適的題目組成理想的測驗。因為IRT的試題難度參數與考生能力指標皆定義在同一量尺上，且測驗的估計標準誤(standa

6、rderrorofestimation,SE(θ))也是由訊息量計算而得，所以測驗發展者可依據測驗目標挑選在某些能力值上具有高訊息量、低估計標準誤之試題，精確的組合出所需要的優質測驗（余民寧，民82）。為了解如何使用IRT來編製測驗，本文將依序介紹IRT的「試題訊息函數」、「測驗訊息函數」、使用訊息理論編製常模參照測驗與效標參照測驗的方法、並簡介電腦自動化選題編製單一測驗及平行測驗的概念與其發展。試題訊息函數(iteminformationfunction)試題訊息函數是由試題參數及考生能力值加以界定。IRT的試題參數有三：

7、難度(bi,difficultyparameter)、鑑別度(ai,discriminationparameter)及猜測度(ci,guessing)。一個試題的難度(bi)為具有50﹪機率能正確答對該試題的考生能力量尺(θ,abilityscale)，因此bi本身就是一個能力值。當bi愈大表示題目愈難，亦即能力值高的考生才有較高的可能答對該題。bi的值介於±∞，但一般只取到±3。試題的鑑別度(ai)是用來描述該試題對不同能力考生的區辨效力，在IRT中，ai值與通過bi點的試題特徵曲線(itemcharacteristicc

8、urve,ICC)的斜率(slope)成一特定比率；如果試題特徵曲線愈陡，鑑別度便愈大，試題的區辨效力就愈好。理論上，ai值也是介於±∞，但一般ai不取負值，而且ai值一般也都不大，通常介於0到2之間。試題的猜測度(ci)又稱機運參數(pseudo-chanceparameter)，它代表