內部一致性 20120131更新

Internal consistency reveals the correlation or consistency of the items in the same domain in a questionnaire. It is often revealed by Cronbach's α.

中文解釋：
內部一致性是指問卷中同一面向的題目之間的相關性或一致性，通常以Cronbach's α表示。

判斷標準：Cronbach's α 介於0.7-0.9為內部一致性良好，α>0.95可能表示有些題目概念重複，可考慮刪除。 

臨床意義：
內部一致性越高，表示問卷各題所測量的概念之相關性越高。

限制：
Cronbach's α的數值易受問卷的題數影響。題數越多，Cronbach's α值越大。

研究設計：
邀請問卷之適用對象填寫問卷，再依據填寫結果計算問卷每個面向的Cronbach's α。

參考資料：

Cronbach, Lee. (1951). Coefficient alpha and the internal structure of tests. Psychometrika, 16, 297-334.

Rush, A. J., Trivedi, M. H., Ibrahim, H. M., Carmody, T. J., Arnow, B., Klein, D. N., . . . Keller, M. B. (2003). The 16-Item Quick Inventory of Depressive Symptomatology (QIDS), clinician rating (QIDS-C), and self-report (QIDS-SR): a psychometric evaluation in patients with chronic major depression. Biological Psychiatry, 54, 573-583.

Terwee, C. B., Bot, S. D. M., de Boer, M. R., van der Windt, Dawm, Knol, D. L., Dekker, J., . . . de Vet, H. C. W. (2007). Quality criteria were proposed for measurement properties of health status questionnaires. Journal of Clinical Epidemiology, 60, 34-42.

外在反應性

External responsiveness reflects the extent to which changes in a measure over a specified time frame relate to corresponding changes in a reference measure of health status.

Reference:
Husted JA, Cook RJ, Farewell VT, Gladman DD. Methods for assessing responsiveness: a critical review and recommendations. J Clin Epidemiol 2000; 53: 459-468.

外在反應性：可反映出某一評估工具於一特定時限後所評得的改變，與某一評估健康狀況的參考評估工具所評得的改變之間關聯的程度。

研究設計: 追蹤研究/重複評估。如: 入,出院時某一評估工具與參考評估工具皆各評估一次。

標準：以與參考評估工具之間的相關係數來驗證，Pearson's r/Spearman's ρ:≧0.75 良好；0.40-0.74 中等；≦0.40 差。

Model Paper:
Hsueh I, Mao H, Huang H, Hsieh C. Clinical applications of balance measures in stroke patients. Formosan Journal of Medicine 2001;5:261-268.

臨床意義：臨床上，病患在日常生活功能上的進步，常被臨床人員視為一個重要的改變。所以，我們有時會以評估日常生活功能的工具為參考架構，來驗證一個新的評估工具是否有能力偵測到臨床上重要的改變，即驗證這個新的評估工具的外在反應性。

同時效度-renew 1101

 Concurrent validity is “studies when the measurement to be validated and is measured with the previously validated measure at relatively the same time (concurrently), to see how well both measures are correlated. "

Portney LG, Watkins MP. Foundations of clinical research: Applications to practice. Upper Saddle River: Pearson Prentice Hall; 2009.

Hobart, J. C., Lamping D. L., & Thompson, A. J. (1996). Evaluating neurological outcome measures: The bare essentials. J Neurol Neurosurg Psychiatry, 60, 127-130.

同時效度 (concurrent validity) 是指評估工具的評估結果與目前公認之黃金標準的評估工具，評估結果之關聯程度，以瞭解評估工具是否評估到與公認標準之評估工具相同之建構，可檢驗評估工具結果的正確性。

判斷標準: 可使用Pearson’s r 來檢驗兩評估工具之相關。r 值≧0.6 為具有良好同時效度之基本標準。

Salter K, Jutai JW, Teasell R, Foley NC, Bitensky J, Bayley M. Issues for selection of outcome measures in stroke rehabilitation: ICF activity. Disabil Rehabil 2005; 27: 315-340.

研究設計: 個案同時接受欲驗證的評估工具及效標工具之評估

臨床意義: 臨床上，可瞭解並確認如新發展之日常生活量表(具簡短，快速及全面之特性)與目前大家所公認使用之日常生活量表比較，是否也能有效地評估到相同之建構 (e.g.,日常生活功能)。如確認可評量到相同之建構，也許可考量使用新量表，以提升評估之效率。

Test-retest reliability

Test-retest reliability is the stability of a measuring instrument over time. It is assessed by giving the measure to the same subjects on two different occasions and examining the correlation between the two scores.

Reference: Hobart, J. C., Lamping D. L., & Thompson, A. J. (1996). Evaluating neurological outcome measures: The bare essentials. J Neurol Neurosurg Psychiatry, 60, 127-130.

中文解釋：再測信度指評估工具在不同時間測得結果之穩定性。再測信度的驗證方法為在不同時間下重複使用同一評估工具於相同的個案，計算不同時間測得分數之關聯性。

判斷標準：使用intraclass correlation coefficient (ICC)估計
                    0.39 poor reliability；
                    0.40-0.59 moderate reliability；
                    0.60-0.79 good reliability；
                    0.80-1.00 excellent reliability

臨床意義：良好再測信度的評估工具可確定測得之改變主要來自受測者本身的改變，而非測量誤差。

Model paper: Chen, K. L., Hsieh, C. L., Sheu, C. F., Hu, F. C., & Tseng, M. H. (2009). Reliability and validity of a Chinese version of the Pediatric Evaluation of Disability Inventory in children with cerebral palsy. J Rehabil Med, 41(4), 273-278. doi: 10.2340/16501977-0319

研究設計：評估同一群受測者二次以上，驗證於不同時間點所測量結果之一致性。

再測信度和測量誤差之關聯：再測信度是驗證於多次測量後，測量結果之穩定性。穩定性越高，測量結果的變化越小，測量結果一致性越高，表示測量受到誤差的影響越小。

表面效度(face validity) 20120131更新

Face validity means the the targeted population of  the measurement determines the measurement  relevant to the wanted construct and the wording written clearly.


中文解釋：表面效度意為評估工具的施用對象認為評估工具的內容與所欲測量的主題相關，而且用字清楚易懂。

臨床意義：
1.使受測者認為自己確實是接受特定主題的評估工具的評估，以提升其受測的配合度，確保填答結果之可信度。
2.使受測者正確理解評估工具的說明，以提升評估結果之可信度。


研究設計：
邀請問卷之適用對象進行訪談或問卷調查，以瞭解問卷之適用對象認為此問卷內容是否與所欲測量概念相關、用字是否明確易懂。研究者參考適用對象之訪談內容與問卷調查結果，修改、刪除、新增評估工具的內容後，再次邀請適用對象提供評估工具內容之修改意見。最後，以問卷調查適用對象認為評估工具的內容相關程度以及措辭的清楚易懂程度（可用二分法或李克氏量尺）。相關程度與清楚易懂程度越高，表示表面效度越佳。


參考資料：
Broder, H. L., McGrath, C., & Cisneros, G. J. (2007). Questionnaire development: Face validity and item impact testing of the Child Oral Health Impact Profile. Community Dentistry and Oral Epidemiology, 35, 8-19.

Mosier, C. I. (1947). A critical examination of the concepts of face validity. Educational and Psychological Measurement, 7, 191-205.
Stineman, M. G., Ross, R. N., Fiedler, R., Granger, C. V., & Maislin, G. (2003). Functional independence staging: Conceptual foundation, face validity, and empirical derivation. Archives of Physical Medicine and Rehabilitation, 84, 29-37.

Reliable change index modified for practice

The reliable change index modified for practice (RCIp): This method provides criteria for meaningful change based on the calculated measurement error for each score.

Reference:Raymond, P. D., Hinton-Bayre, A. D., Radel, M., Ray, M. J., & Marsh, N. A. (2006). Assessment of statistical change criteria used to define significant change in neuropsychological test performance following cardiac surgery. Eur J Cardiothorac Surg, 29, 82-88.

中文解釋：練習效應之可信改變指數，計算測量誤差，提供標準以了解受測者的變化是否具有意義。

判斷標準：計算RCIp之90%信賴區間(confidence interval, CI)，超過此信賴區間即表示受測者分數在統計上有顯著的進步或退步。

臨床意義：在考量練習效應後，受測者的分數變化是否在統計上達到顯著的改變(進不或退步)。

Model paper: Koh, C.-L., Lu, W.-S., Chen, H.-C., Hsueh, I.-P., Hsieh, J.-J., & Hsieh, C.-L. (2011). Test-retest reliability and practice effect of the Oral-format Symbol Digit Modalities Test in patients with stroke. Arch Clin Neuropsychol, 26(4), 356-363.

研究設計：評估同一群受測者二次以上，使用公示計算90% CI RCIp值。公式如下

90% CI RCIp = mean practice effect ± 1.645 × SE_diff,                                [1]

SE_diff = √2(SEM)²,                                                                                         [2]

SEM = √1-r_xx,                                                                                                 [3]

最小可偵測變化值

The minimal detectable change (MDC) “is considered the minimal amount of change that is not likely to be due to chance variation or random measurement error in measurement,” and can be calculated to varying degrees of confidence (usually 95%).

Haley SM, Fragala-Pinkham MA. Interpreting change scores of tests and measures used in physical therapy. Phys Ther. 2006; 86: 735-743.

中文解釋: 最小可偵測變化值是指個案評估數據之差異值(如個案經過特定治療後，前後評量所得數據之差異值)，此差異值是個案真正的改變，而非測量誤差所導致的。MDC通常以 95% 之信心水準為判定標準。

判斷標準: 若評估工具的MDC相對於評估工具總分低於10%，可視為良好可接受的評估誤差。

Flansbjer UB, Holmback AAM, Downham D, Patten C, Lexell J. Reliability of gait performance tests in men and women with hemiparesis after stroke. J Rehabil Med 2005; 37; 75-82.

研究設計: 同一個案接受同一或不同施測者評估至少2次評估(例如:前測及後測)

臨床上，治療師可以依據2次評估數據之差異來判斷，個案分數改變的大小若 ≥ MDC值，治療師可具備95%之信心水準判定個案產生真正的進步，而非測量誤差所導致。

內在反應性

Internal responsiveness characterizes the ability of a measure to change over a particular prespecified time frame.

Reference: Husted JA, Cook RJ, Farewell VT, Gladman DD. Methods for assessing responsiveness: a critical review and recommendations. J Clin Epidemiol 2000; 53: 459-468.

內在反應性: 描述一個評估工具在經過一段預先設定好的時限後，能表現"改變"的能力。

研究設計: 追蹤研究/重複評估。如入,出院時各評估個案一次，以檢驗個案的分數變化。

標準: effect size (ES), standardized response mean (SRM)為常用的內在反應性指標。ES/SRM≧0.8為高度反應性；0.5為中度反應性；≦0.2為低度反應性。

Model Paper:
Hsueh I, Mao H, Huang H, Hsieh C. Clinical applications of balance measures in stroke patients. Formosan Journal of Medicine 2001;5:261-268.

臨床意義：通常，我們已經知道個案在某一段時限過後會有能力或功能表現上的變化。這個變化可能來自於一個自然的疾病過程，或是由某個有確定療效的治療所造成。所以，如果一個評估工具可以將這個變化表現出來，我們可以說這個評估工具具有內在反應性。

內容效度(content validity) 20120131 renew

Content validity is a validity to reveal that the content of questionnaire contains all of its important concepts and the items are important to its construct of interest and are written clearly.

中文解釋：
內容效度是指測量工具是否包含此其所欲測量的概念的所有重要面向、試題是否是否反映了所欲測量的重要面向。

臨床意義：
表示此工具之測量結果可代表受測者在此面向（能力）的程度。

研究設計：
邀請與所欲測量概念相關的各領域專家群，針對此測量工具是否已包含所欲測量概念之所有內容與內容之適當性進行討論（或者以問卷蒐集專家的意見）。研究者參考專家之討論與意見，修改測量工具的內容後，再次邀請專家群提供測量工具內容之修改意見。最後，以問卷調查所有專家對問卷內容完整性、適當性的判斷（可用二分法或李克氏量尺），並計算專家意見之一致性。 一致性越高表示內容效度越佳。 

參考資料：
Hudak, P. L., Amadio, P. C., Bombardier, C., Boland, A., Fischer, T., Flatow, E. L., . . . Simmons, B. (1996). Development of an upper extremity outcome measure: The DASH (Disabilities of the Arm, Shoulder, and Head). American Journal of Industrial Medicine, 29, 602-608.

Lennon, R. T. (1956).Assumptions underlying the use of content validity . Educational and Psychological Measurement, 16, 294-304.

Polit, D. F., & Beck, C. T. (2006). The content validity index: are you sure you know what's being reported? Critique and recommendations. Research in Nursing & Health, 29, 489-497. 

施測者間信度

Interrater reliability  is administering the same form to the same people by two or more raters so as to establish the extent of consensus on use of the instrument by those who administer it.

From : Portney LG, Watkins MP. Foundations of clinical research: Applications to practice. Upper Saddle River: Pearson Prentice Hall ; 2009.
Drebs DE, Edelstein JE, Fishman S. Reliability of observational kinematic gait analysis. Phys Ther 1985; 65: 1027-33.

中文解釋: 施測者間信度是指2個或2個以上施測者於同一時間點 (或短期間內，個案特性未有改變)對同一個案獨立評估，評估結果之一致性。

判斷標準: 可使用組內相關係數(intraclass correlation coefficient, ICC)來驗證。ICC值≧0.75代表具有良好的施測者間信度。

研究設計: 二個或二個以上的評估者於同一時間點 (或短期間內，個案特性未發生變化)獨立評估同一受試者。

檢驗施者間信度可幫助了解評估工具結果是否受到施測者主觀判斷影響；良好之施測者間信度可確認評估工具結果之客觀性及穩定性。
臨床上，個案可能被不同治療師或實習學生評估，不同治療師或實習學生間施測之一致性，都可能影響臨床決策及療效判斷，因此臨床上施測者間信度大小將影響評估工具數據所得之可靠程度。

Bland- Altman method

Bland-Altman method is for assessing the agreement between
(1) alternative methods to see whether they agree sufficiently for the new to replace the old; or
(2) repeated measures with the same instrument
The Bland-Altman plots with 95% limits of agreement (LOA) can be used to visualize the relationship between difference and mean.

From: Bland JM & Alman DG. Statistical methods for assessing agreement between two methods of clinical measurement. Lancet. 1986; 1 : 307-310.
Bland-Altman  method : 分析評估測量值 (i.e. 前後測分數)之間的一致性。(此處主要以前後測分數為例)
Bland-Altman plot :



x軸: 前後測評量分數之平均值 ; y 軸: 前後測分數之差異值

三條水平參考線為 : d -bar : 差異值的平均值 及 差異值的平均值 加減 1.96 SDdifference (標準差) ==>建議 95 %資料點落在此區間內

1. 從Bland-Altman plot 可看出原始資料真實的分佈趨勢 :
(1) 如點分散在y軸為0 (表示前後測分數無差別)上下，則表示前後測無明顯差異 ;
(2) 或如當中前測或後測當中一個總是有較高分數，則會得到所有的點高於或低於零線 (y =0)
(3)  或圖上的點散佈如喇叭型 (< : 隨著數值變大越分散 或 > : 隨著數值變大越集中) ，則表示變異不相等 ，評估所得分數越高，再測結果之分數差距越大，有 heteroscedasticity 差距非定值之情形存在
2. 檢驗個案兩次測驗平均分數及差異的相關，可得知兩次評估之穩定性

練習效應

Practice effects were defined as relatively stable (not increasing and then decreasing) improvements in performance (e.g., speed, accuracy, and variability) associated with an increasing number of practice trials over a single session.

Reference: Smits-Bandstra, S. (2010). Methodological considerations in the measurement of reaction time in persons who stutter. Journal of Fluency Disorders, 35, 19-32.

修改後的中文解釋：練習效應之定義為，受測者在多次的測量後，會呈現穩定地進步(不會進步後退步)。

判斷標準：使用Cohen's d估計
                    0.20-0.49 small practice effect；
                    0.50-0.79  moderate practice effect ；
                    ≥ 0.80 large practice effect

臨床意義：認知評估工具在多次使用後，受測者會因著熟悉測量工具或學習如何回答題目，測驗結果的改變並非受測者能力變好。因此計算練習效應，以得知評估工具受到練習所造成的影響為多少。

Model paper: Bartels, C., Wegrzyn, M., Wiedl, A., Acker, a., V., & Ehrenreich, H. (2010). Practice effects in healthy adults: A longitudinal study on frequent repetitive cognitive testing. BMC Neuroscience, 11, 118.

研究設計：評估同一群個案二次以上，相隔施測時間不同(相隔時間可能為1個禮拜，2個禮拜，1個月等)，所獲得的練習效應結果也不同。

預測效度

Predictive validity dealt with the ability of an instrument to predict the future performance of respondents on some specific skill or area of knowledge.

預測效度：一個評估工具預測個案未來某種特定技巧/表現的能力。

Reference:
Brown T. Construct validity: a unitary concept for occupational therapy assessment and measurement. Hong Kong Journal of Occupational Therapy 2010;20:30-42.

標準: 以相關係數來驗證，Pearson's r/Spearman's ρ:≧0.75 良好；0.40-0.74 中等；≦0.40 差。

研究設計: 於某一時間評估個案, 並在一段時間後再評估，為追蹤研究 。

Model Paper:
Hsueh I, Mao H, Huang H, Hsieh C. Clinical applications of balance measures in stroke patients. Formosan Journal of Medicine 2001;5:261-268.

臨床意義: 臨床上，一個有良好預測效度的評估工具，能幫我們預測個案未來可能的表現。如此，我們可先幫個案做好規畫。如：當使用具有良好預測效度的平衡評估工具評估剛入院的中風個案，若他的分數不高，我們可預測這位個案出院後的日常生活可能需人協助。除了設計適合個案程度的治療計畫，也讓個案和家屬了解這個狀況，並提供關於個案和家屬返家後規畫的適當建議，如：是否添置輔具或改造家中的環境。

開宗明義

熟悉心理計量名詞及意義是進行相關研究的基礎，因此請學生共同營造此部落格，以確認學生習得相關知識並可與他人分享。

請學生以英文詞彙為主，加上英文解釋及出處（以期刊論文為首選，最好是經典論文，或常被引用者），並以中文（自己的話）解釋該名詞。若能說明該詞彙之學術與臨床價值，更佳！

雖然有些詞彙之定義並不一致，同學可先採用較常使用之定義。或者同學可一併列出不同之定義，但須指出何者較常被採用。

Look forward to seeing your inputs!