2012年1月12日 星期四

項目難度

Item difficulty, p,  is defined as the proportion of correct answers. (屬於古典測驗理論,classical test theory, CTT)

中文解釋:項目難度的定義是在某項目上,答對人數的百分比。以p表示。

Reference: Guo, F., Rudner, L., & Talento-Miller, E. (2009). Scaling item difficulty estimates from nonequivalent groups. GMAC Research Reports. 1-11.

判斷標準:越高百分比,p值越大,答對的人越多,表示題目越簡單。例如:,70%的受測者可以答對的題目(p=0.7),比20%受測者可以答對的題目(p=0.2)要簡單,後者的題目比較難。

臨床意義:
1. p越接近0或1.0之題目,越不能區辨受測者的表現。p趨近0表示題目太難,大多的受測者都不會。p趨近1.0表示題目太簡單,大多的受測者都會。最好選擇試題難度範圍在0.3-0.7之間,難易度適中的題目。
2. p越趨近0.5表示題目的區辨力越大。有50%受測者答對,有50%受測者答錯。
3. 對於可能導致猜測行為的題目,可以設定p值要比較高。

Model paper: Pinar, R., & Oz, H. (2011). Validity and reliability of the Philadelphia Geriatric Center Morale Scale among Turkish elderly people. Qual Life Res, 20, 9-18.

研究設計:收集同一族群之受測者評估每一個項目的數據,以分析個別之項目難度。

IRT之項目難度參數可從試題特徵曲線 (item characteristic curve, ICC)上得知,以b值表示。

CTT與IRT之item difficulty的差異:
1. CTT的item difficulty是樣本依賴 (sample dependent),因此不同受測者樣本的item difficulty會有所不同。而IRT不受樣本特性的影響,對任何受測者而言,項目越容易作答,即表示項目難度越低。
2. CTT的項目難度是看p值,p值越大表示試題越簡單,p值越小表示試題越困難,這概念與常理的想法相反。但IRT的項目難度是看b值,b值越大表示試題越困難,b值越小表示試題越簡單,這概念與常理的想法符合。


如果是多選題,可使用多元計分法,對不同選項給予不同的計分。

5 則留言:

  1. 這跟 IRT 的 item difficulty 之差異,宜補充之。
    若是多選題,如何處理?

    回覆刪除
  2. 謝謝老師的建議,會與1/21前補充。

    回覆刪除
  3. thanks!
    有關 CTT 與 IRT item difficulty 之差異之 "2" 這非本質差異(那只是判讀問題),還有其它差異嗎?
    有關多選題之說明不清。

    回覆刪除