2011年12月28日 星期三

差別試題功能

Differential item functioning (DIF): is a collection of statistical methods utilized to determine if examination items are appropriate and fair for testing the knowledge of different groups of examinees (e.g., male vs. female or Caucasian vs. African-American).

中文解釋:差別試題功能為運用統計方法,以決定是否所驗證的項目可以適當地檢驗不同族群受測者的能力,例如:男與女的比較,白人和黑人的比較。

Reference: Perrone, M. (2006). Differential item functioning and item bias: critical considerations in test fairness. Applied Linguistics, 6, 1-3.

判斷標準:如果不同的族群在某個題目之試題特徵函數(item characteristic curve, ICC)都不相同的話,則該題目出現DIF現象。反之,如果不同族群的試題特徵函數都相同的話,則該題目沒有DIF現象。
因此,DIF的判斷即為檢驗試題特徵函數是否有差異,DIF檢定方法有比較試題參數的統計考驗(the Lord X2 test)、ICC間區域面積法 (the ICC area measure)、近似值比檢定法 (the likelihood ratio test)、Mantel-Haenszel法、標準化法、邏輯迴歸分析法 (logistic regression)、SIBTEST法 (simultaneous item bias test)。

臨床意義:
來自不同族群,但能力相同的個體,如果在答對某個試題上的機率有所不同的話,則表示該題目有偏誤的狀況(biased items),產生DIF現象,有DIF之題目會被刪除,因為此題目會對不同族群產生不同的影響及解釋。

Model paper: Crane, P. K., van Belle, G., & Larson, E. B. (2004). Test bias in a cognitive test: differential item functioning in the CASI. Statistics in Medicine, 23, 241-256.

研究設計:依不同特性將個案分群 (例如:性別、種族、診斷等),測量,比較不同特性之族群是否在評估工具之各個題目上,有DIF的現象。

5 則留言:

  1. 1.「且此題目和欲測量之構念可能不相關,所以有DIF之題目會被刪除」如何判斷「此題目和欲測量之構念可能不相關」?
    2.研究設計的意思是如何設計一個研究以驗證您所提之概念。您目前所提,似不相關。

    回覆刪除
  2. 謝謝指正,已嘗試修改。

    回覆刪除
  3. 我有3個問題想請問。
    1.有DIF就表示題目和所預測量的構念可能不相關嗎?例如:在ADL量表中詢問個案是否會自己準備小點心,應該也與ADL有關,只是男女生的分數有差。
    2.臨床意義的部分:要如何以有DIF的題目區辨不同族群呢?
    3.如果DIF可以用於區辨不同族群,是否應該保留這些題目?

    回覆刪除
  4. 謝謝提問。
    1. 謝謝指正,已修改原版寫法。
    2. 有DIF即表示不同族群對此題目有不同的影響和解釋,藉此區辨不同族群。
    3. 可從不同的角度上解釋,欲發展符合不同族群(例如:性別)的工具,就不希望此工具題目在不同族群中有所差異。假如欲發展可以區辨不同性別的工具,則需保留有DIF的項目。

    回覆刪除
  5. 根據樓主的回應:
    「2. 有DIF即表示不同族群對此題目有不同的影響和解釋,藉此區辨不同族群。」

    請問您的意思是,"可以藉由DIF題目來區辨受試者屬於男性還是女性"嗎?

    如果是,我無法理解這個觀點,因為在進行DIF分析前我們就已經將受試者分群,如果您再用這個分群的結果(DIF題),來證明(區辨)您的分群,似乎有點怪。可否請樓主提供您使用上的邏輯觀點?

    如果我誤會了,可否請樓主再解釋一次?

    回覆刪除