CAT終止條件注意事項

 CAT終止條件設定：

 

共會有三種考量：

分別為：

1.      MRR：某個人的信度到達N後，即停止施測。

2.      LRI：某個人增加信度小於N

3.      MRR or LRI

 

首先：CAT的考量為：在信度與原本題庫差不多的情況下，可以精簡掉多少題目。

依此，我們會產生2種可能版本（可能！）。

1.      信度最佳且快速版（通常不會有此版本）

2.      最快速版（如果有1，此版本就不重要）

3.      最有效率版

 

MRR與LRI之其他注意事項如下：

MRR：

1.      MRR通常外在標準會設定0.7或0.9（為信度之絕對外在標準），如果需要增加其他的標準，例如：0.85，可能會需要額外的解釋為什麼有這個標準存在

2.      客觀評估內容例如動作，信度通常會設高標(0.9)；而抽象概念評估的信度，例如：認知，可能達到0.7，即可以接受。另此處是會看平均信度而非最小信度

 

LRI：

1.      可能會有信度改變量為負值之問題，因為程式碼中取了絕對值，可能使作答了某題之後信度反而下降，但此條件影響不大。

 

 

NOTE1：通常在比較各版本信度時，會以>0.9；>0.8；>0.7之各人數比例做為判斷標準，而非使用平均信度。而重點會放在0.9以上。

NOTE2：挑選時僅看平均題數即可，因為通常都會有界外值做很多題目。

NOTE3：可能會需要考量在多向度的時候，是不是會有個向度CAT不愛選擇該向度，如此的話，會需要強制變成個別單向度答題，或是設定該項度至少必須達幾題。

 

SEM公式解讀

故 根號2 為效正值

信賴區間的解讀方式

背景設定：α=0.05 使用t檢定做考驗

因此得到下式：

其中S是隨機變數，而u是常數（母體平均）

所以

如果我們今天得到結論：

the 95% CI for the mean ranges from 0.1 to 0.4

結論應為：

1. 我們若將此實驗重複無限次，其中有95%的次數，我們估計出來的區間會包含true mean/true mean落在0.1至0.4中

2. 我們有95%的信心說true mean 落在0.1至0.4中

錯誤說法：

1. 有95%的機率，我研究估出來的mean，會落在0.1至0.4之間。

錯誤的原因是：

mean為常數，常數為定值，定值是不會變動的。

而我們用CI估計出的上下界，由於s，所以是隨機變數是估計值，所以是會變動的。

而錯誤處在於，此說法固定了隨機變數，將常數視為隨機變數。

然實際上會變動的是估計值。

心理計量課程_信度部分

一、Internal consistency

常用統計方式：Cronbach’s alpha

l   Cronbach’s alpha主要問題 2：1. 容易受題數高估此值；2. 公式之含意不明：既無法代表同質性亦無法代表穩定程度；3. 如題間有高度相關，則Cronbach’s alpha亦被高估。

 

二、item-level agreement

常用統計方式：Percentage of agreement；Kappa；Weighted Kappa。

l   使用上% Agreement 最易高估，因未校正 chance agreement。Kappa & weighted kappa 亦受受原始能力分布，包含天花板/地板效應之得分以及樣本數大小之影響, 容易被低估。因此Kappa & weighted kappa常需搭配 % Agreement 一起呈現。

l   Weighted Kappa可用以處理順序尺度之資料；Percentage of agreement；Kappa僅能用以處理名義尺度之資料

 

三、Scale-level test-retest/inter-rater agreement

常用統計方式：ICC與Pearson’s r

l   如工具可能同時存在天花板與地板效應，ICC會被高估

l   ICC(1,1)：施測者變異被包含在測量誤差中

l   ICC(2,1)：實務上常用，儘管與現實不符，但需要假定為2,1模式，方可進行後續計算

l   ICC(3,1)：ICC值會最高，但該模型無法類推。

l   Pearson’s r 比起ICC無法反應系統性偏誤，但反過來說ICC之值若低，則無法歸因於系統偏誤或是資料真的不穩定

l   ICC consistency 之值大於 ICC agreement之值

l   計算時使用mean of k，實務上沒有太多意義，因我們不會與平均值比較。

l   用single rater會使資料的variation 較大，其資料較為保守，可以得到較穩定之結果。

 

四、隨機測量誤差：

常用方式：SEM / MDC/ heteroscedasticity /pair-t test

l   SEM%與MDC%之意義相同，故報告時呈現一種即可

l   然SEM/MDC有各自之實務意義

l   Heteroscedasticity如存在則MDC需要校正。

l   認知工具之MDC%在30%以上是常態

 

 

二階認知計畫__去留之考量

後續計畫如需執行須考量點有三：

 

1.      測驗將以「篩檢」形式發展，或以「一般測驗」形式發展

*以「篩檢」形式：題庫則需較少。

*以「一般測驗」形式：題庫則需較多

*以此點考慮是否需新增題目！

2.      各測驗皆須考量額外的「外在效標」

3.      需決定預計使用IRT或是CTT進行驗證。

 

目前各測驗之去留：

中止：

1.      立即/延遲視覺記憶：

原因：難以掌握難易度之關鍵。

2.      立即/延遲/再認聽覺記憶

原因：僅立即記憶有難度趨勢，而與其題組之內容皆無。

3.      TMT：

各題看不出難度趨勢

 

有潛力可繼續之測驗：

1.      視覺工作記憶：

現行主要問題：難易度過於集中，缺少更難題與更簡單的題目

2.      聽覺工作記憶：

現行主要問題：同上

3.      Chunk

現行問題：樣本數過少。

4.      FST：

現行主要問題：缺少外在效標

5.      TOL：

現行主要問題：此測驗應往IRT比較有發表潛力

 

 

資源分享與學習困難之處-中階統計

中階統計：心理系 徐永豐老師所開

 

目前修課的困難來源有二：

1.      無微積分基礎

2.      課程內容微快（因要在一學期內上完初統上下二學期之範圍）

 

針對第一點：

課程內容到了第二三章，講完「間斷隨機變數函數」後，會開始講「連續隨機變數函數」。

而此開始會運用到大量的微積分推導。

 

因此為了補起這個洞。有幾個資源可以輔佐

1.      機率論的部分：可以參考葉丙成老師的線上課程。

網址：https://www.youtube.com/watch?v=GwSEguqJj6U&list=PLtvno3VRDR_jMAJcNY1n4pnP5kXtPOmVk

然電機系常用的數學符號與課程內容不甚一致，需要注意，

但葉老師的線上課程講得非常淺顯易懂。

我自己是看完了啦哈哈哈。

2.      微積分的部份：可以參考此youtube頻道

網址：https://www.youtube.com/user/1346sak/playlists

播放清單第二章與第四章，僅需1~2個晚上即可看完

優點是：

可以快速知曉微積分常用的變數轉換公式，且不會涉及很複雜的解題與證明過程。

缺點有二：

1.      看完之後，可以更理解過程如何推導，但是自己不一定導得出來，因為對於函數的計算需要熟練。

但至少可以從完全不懂，到微微懂。

2.      對於某些深入的概念還是需要再找資源，例如：極限求值、泰勒展開式、自然對數e...等等。

3.      台大書店（總區圖書館地下室），翁秉仁老師出的微積分乙

此書由統計助教推薦，整體滿淺顯易懂的。

但是看影片學習更快。

建議先找線上影片了解概念，再搭配課本服用效果更佳。

我一開始走的歪路就是直接嗑課本，浪費了很多時間。

 

 

另有跟怡靜學姊稍微聊過：

我一開始選這堂課的原因有二：

1.      與初統都是心理系開的，「感覺」會有一種銜接的感覺

2.      其他的進階分析都有一些課程前要求，想說要來打基礎

事實證明，感覺什麼鬼都是錯的哈哈哈哈

 

這堂課對於數學有點過分深入了，然後由於範圍跟初統差不多，所以在分析技術上或許不會有太大的提升。

而其他「進階分析」其實沒有對基礎有這麼多要求，並不一定要選這種打基礎的課。

 

最後，其實我還是覺得修這堂課滿有意義，雖然早就超過了just right challenge

意義在於：會對於研究設計、樣本數要求、機率，有更深一層的理解。

例如：

1.      不一定樣本數30/50就可以達到中央極限定理，這取決於樣本分配。

2.      不一定每種變項都可以使用常態分配之假設，例如：反應時間。

 

 

然後…其實我數學真的沒有很好，我很怕被當掉…

任務與心情

任務相關清單：

1. 人際問題得分電子化key in - 最遲週五完成

2. HEAT課程影片錄製 - 已完成正在轉檔

3. 二階認知稽核 - 已完成，委員表示會在五個工作日內回覆

    * 稽核相關內容，有幾點應可以給其他研究案參考：

   3-1. 每一張施測紙皆需有簽名

   3-2. 受試者同意書需要有病歷號碼的紀錄，其中一個項目是委員會查詢我們收的案是否真的是醫院的病人，所以需要有病歷號碼。（但不確定是否只是為了他方便查個案資料）

   3-3. 知情同意過程：IRB網頁有制式的知情同意過程單張，並且需要將知情同意過程單張紀錄於個案之病歷。

       *此點與委員討論有二：

       1. 研究人員沒有員編，沒有權限執行此要求

       2. 委員說，或許觀察性研究可以排除此項要求。

 

助教相關任務內容：

 

1.     評析/心理計量/統計課 已完成431教室借用

2.     精神實習5-6，打電話聯絡各實習單位並索取成績

 

課程內容相關：

1.     心理計量：要開始準備挑選文獻，並與老師確認報告形式

2.     中階統計：整體來說，我覺得課程難度有點超乎我的預期。但還在可以嘗試努力追上的，不過花費許多時間。但目前比較需要努力處理的部分是微積分沒有基礎，導致推導過程看不懂。

 

關於微積分：助教建議可以去總圖買一本中文的微積分乙上，即可很快追上

中階統計與姚老師的初統相同處在於範圍：課程規劃從分配型態到迴歸；不同之處在於：姚老師的講解非常應用性以及概念；而徐老師的講解，則是非常的數學，例如：為什麼exponential distri 要怎麼變成 gamma distri。

雖然有種在打基礎的感覺，但有一點覺得不知道知道這知識後，有什麼時機可以用得上？

 

心情：

這週的心情狀況，有比上周好一些了；不過大部分的時間都拿來投資在中階統計的課程準備上，壓縮到了其他任務時間，但這週過後，下週開始應該就會好一點了。

 

也還好有將英文寫作退掉（雖然有點煩惱學分的問題），雖然有點捨不得，但還是慶幸壓力小了一點。