一、Internal consistency
常用統計方式：Cronbach’s alpha
l Cronbach’s alpha主要問題 2：1. 容易受題數高估此值；2. 公式之含意不明：既無法代表同質性亦無法代表穩定程度；3. 如題間有高度相關，則Cronbach’s alpha亦被高估。
二、item-level agreement
常用統計方式：Percentage of agreement；Kappa；Weighted Kappa。
l 使用上% Agreement 最易高估，因未校正 chance agreement。Kappa & weighted kappa 亦受受原始能力分布，包含天花板/地板效應之得分以及樣本數大小之影響, 容易被低估。因此Kappa & weighted kappa常需搭配 % Agreement 一起呈現。
l Weighted Kappa可用以處理順序尺度之資料；Percentage
of agreement；Kappa僅能用以處理名義尺度之資料
三、Scale-level test-retest/inter-rater
agreement
常用統計方式：ICC與Pearson’s r
l 如工具可能同時存在天花板與地板效應，ICC會被高估
l ICC(1,1)：施測者變異被包含在測量誤差中
l ICC(2,1)：實務上常用，儘管與現實不符，但需要假定為2,1模式，方可進行後續計算
l ICC(3,1)：ICC值會最高，但該模型無法類推。
l Pearson’s r 比起ICC無法反應系統性偏誤，但反過來說ICC之值若低，則無法歸因於系統偏誤或是資料真的不穩定
l ICC consistency 之值大於 ICC agreement之值
l 計算時使用mean of k，實務上沒有太多意義，因我們不會與平均值比較。
l 用single rater會使資料的variation 較大，其資料較為保守，可以得到較穩定之結果。
四、隨機測量誤差：
常用方式：SEM / MDC/ heteroscedasticity /pair-t
test
l SEM%與MDC%之意義相同，故報告時呈現一種即可
l 然SEM/MDC有各自之實務意義
l Heteroscedasticity如存在則MDC需要校正。
l 認知工具之MDC%在30%以上是常態
沒有留言:
張貼留言