類別變項的相關檢定:卡方獨立性檢定 / Correlations with Categorical Variables: Chi-Square Test of Independence
這是巨量資料探勘與統計應用課程的投影片「類別變項的相關檢定:卡方獨立性檢定」。本單元是屬於系列課程中的「資料檢定級」中的第三個單元,處理資料類型是「類別」類型的資料,可以檢測出兩兩類別資料之間的關係。本單元要講的分析技術是推論統計的卡方獨立性檢定(Chi-Square Test of Independence),相當適合質性研究所蒐集的類別資料或行為分析。本單元的分析工具是我額外開發的「卡方獨立性檢定計算器」,在投影片裡面還談到了隱含在卡方檢定之後的陷阱:辛普森詭論(Simpson's paradox)。這個單元包含了四個實作學習單,供同學邊看邊練習。
單元大綱 / Outline
- 類別資料的分析:列聯表與類別變項的相關
- 類別變項的相關檢定:卡方獨立性檢定
- 實作:卡方檢定──入學審核有性別歧視?
- 課堂練習:辛普森詭論──入學審核沒有性別歧視!
投影片 / Slide
- 教學投影片: Google Presentation
- 教學投影片其他格式: Power Point、 PDF、 OpenDocument Presnetation
我以Google簡報的檔案匯出成PPTX,再備份到以下位置:
- SlideShare 、 GitHub 、 OneDrive 、 Box 、 Mega 、 MediaFire 、 Google Drive
這份講義還提到了費雪爾正確概率檢定,請參考我另外一篇「費雪爾正確概率檢定」的介紹。
如果你還不瞭解什麼是類別變項或是連續變項,請回頭看一下「資料的來源與形態」這篇。
結論寫作框架 / Result Framework
請參考以下結論框架,將底線的文字改為合適的內容,完成卡方獨立性檢定的結論吧。
研究目的 | ||||
本研究使用卡方檢定分析(行變項)的差異對於(列變項)是否有所影響。 | ||||
樣本敘述統計量 | ||||
樣本數總共為(樣本總數)。 | ||||
整體統計檢定 | ||||
| ||||
相關係數與預測係數分析 (如果整體統計檢定達到顯著才寫) | ||||
「(行變項)」跟「(列變項)」之相關係數Cramer's V值 (介於0~1之間) 為 (相關係數) ,屬於(完全/高度/中度/低度/無) 相關。 | ||||
細格統計檢定 (如果整體統計檢定達到顯著才寫) | ||||
細格統計檢定分析結果顯示: (列出每個細格中調整後殘差絕對值大於1.96者,適當地摘要留下不重複資訊) 「(細格之行類別)」中「(細格之列類別)」之調整後殘差為(細格之調整後殘差),表示觀察個數顯著(高/低)於期望個數。 |
舉例來說,像是:
研究目的 | ||
本研究使用卡方檢定分析性別的差異對於報考結果是否有所影響。 | ||
樣本敘述統計量 | ||
樣本數總共為358位。 | ||
整體統計檢定 | ||
| ||
相關係數與預測係數分析 (如果整體統計檢定達到顯著才寫) | ||
「性別」跟「性別」之相關係數Cramer's V值 (介於0~1之間) 為 0.162 ,屬於低度 相關。 | ||
細格統計檢定 (如果整體統計檢定達到顯著才寫) | ||
細格統計檢定分析結果顯示:
|
學習單 / Worksheets
本單元包含了以下的學習單,請搭配課程投影片一起練習吧。
測驗 / Examine
本單元整理了一份測驗,供同學驗證所學:
資料集 / Dataset
本單元用到了以下資料:
- 招生統計資料:修改自Moore跟Notz所著的「統計學的世界」中的例子,這邊的數字跟書中的不一樣,但概念是沿用書中的做法。
- 招生統計資料(理學院):同樣來自上面的招生統計資料。
- 招生統計資料(文學院):同樣來自上面的招生統計資料。
- 父親教育程度與雙親吸菸習慣:來自Moore跟Notz所著的「統計學的世界」中的例子。
線上操作平臺 / Online Workplace
以上的實作不需用到本機端的軟體,全部使用以下雲端服務。建議使用Google Chrome瀏覽器開啟:
卡方獨立性檢定計算器 / Chi-Square Test of Independence Calculator
小結 / In closing
說到統計,大家大多只熟悉SPSS。但是SPSS裡面要計算卡方檢定,步驟可是非常的不直覺跟複雜,你可以看看「列聯表/交叉表 雙向卡方分析」這篇,不僅資料整理麻煩、設定特別多、就連報表也很不容易看。基本上對沒摸過的人來說絕對是看不懂這怎麼做。
所以我在開發卡方獨立性檢定計算器的時候,所幸大幅度地簡化SPSS所有的操作流程、強調需要查看的關鍵指標,然後整合結論寫作框架,直接輸出文字報表。這是我第二個做的計算器,個人用起來還算蠻順手的,這段期間我也拿它給其他學弟妹寫論文時分析,用起來既直覺又好用,報表直接輸出,連學怎麼讀報表都不需要了。
卡方與相關 / Chi-square and relation
許多對於卡方獨立性檢定的介紹,大多著重於「檢定分佈是否有所差異」的卡方統計量上。但我個人認為,卡方獨立性檢定其實比較適合用「相關」的角度來解釋。只是大部分的人都學過皮爾森積差相關中共線性的相關概念,那用於列聯表上的相關又是什麼概念呢?以上圖右方的教育程度與閱讀偏好列聯表來說,我們可以發現「閱讀偏好:娛樂類」跟「教育程度:高中以下」常常一起出現、「閱讀偏好:專業類」跟「教育程度:大學以上」也常常一起出現,這兩種變項中某一類別常常會伴隨另一個變項的特定一個類別,這樣就形成了列聯表的相關。
換個角度來描述這個列聯表的話,就是當人們的「教育程度」為「大學以上」時,通常「閱讀偏好」就會是「專業類」。也就是說,如果兩個類別變項相關程度很高的話,我們就可以用「教育程度」來預測「閱讀偏好」。
至於列聯表的數字要高到什麼程度,我們才能說兩個變項之間有明顯的相關呢?這就要計算卡方檢定量及其機率值p值。跟其他課程教卡方檢定不同的是,我這邊還教大家把卡方檢定統計量換算成0~1之間的相關係數Cramer's V值,這樣就能比較不同列聯表之間的相關程度。更甚者,我們還可以計算從列變項預測行變項、從行變項預測列變項的預測係數Tau,這可以計算出變項之間的預測能力。最後我還加入了細格統計檢定,這樣就可以發現「閱讀偏好娛樂類跟教育程度高中以下的人數顯著的多」的現象。
雖然流程看起來很複雜,但這些計算統統交給卡方獨立性檢定計算器去作,我們輸入好資料之後只要看報表就好了,有興趣的人再仔細看投影片的公式吧。
教課的反思 / Reflections on Teaching
不過,在教課的時候,這卻變成一個問題:
計算器用起來太簡單,很快就講完了。
我用一個小時多一點的時間就講完這章時,赫然發現這樣教法有這樣的問題。前面的章節在教的時候,我會花大部分的時間在講操作、在講閱讀報表、在講怎麼寫成結論,但這個卡方獨立性檢定計算器把前面的工作一下子就做完了,反而讓我的授課時間簡化許多。即使包含了兩個實作,學生也超級快速地全部做完,在臺下茫然地看著我,氣氛有夠尷尬。
後來我又回頭把卡方檢定的計算過程補了上去,但是卡方檢定的流程非常的複雜,除了算卡方檢定量之外,還需要算相關係數Cramer's V、預測係數Tau以及細格統計檢定。而卡方檢定量在不同的樣本情況下又會需要改用費雪爾正確概率檢定或葉氏連續校正,它們的計算方式都略有不同。若要講計算過程,那可真是非常複雜,複雜到……為何不交給機器來算就好呢?真的有需要的話,再回頭來查查這怎麼算就好。
這次的授課讓我獲得一個教訓:如果軟體操作跟分析過程已經大幅簡化了,那就應該加入更多應用的習題或反思的課題,讓同學所省下機械式操作的時間可以用於思考。
卡方檢定處理的類別資料特別適合質性研究者在訪談編碼、行為編碼上的統計檢定。例如我想知道「專業人士」跟「非專業人士」在使用四種資訊架構元件「組織系統」、「導覽系統」、「標籤命名系統」、「搜尋系統」的操作次數上是否有所關聯,那就很適合用卡方檢定來作分析。不過,大部分作質性研究的學者都對這種量化的統計分析表示反感,而且SPSS要跑卡方檢定也非常複雜,導致統計課程中教皮爾森積差相關的內容常常會比卡方檢定還要多,真是微妙。
題外話,在「理科生墜入情網,故嘗試證明」漫畫中也有出現過使用卡方檢定證實在傳說之樹下告白是否有效的橋段。看著一群號稱理性思考的理科研究生用統計或最佳化問題等資料分析方法做些感性的分析,實在是很好笑。推薦學過統計或資料分析背景的研究生閱讀。
本單元所講的卡方獨立性檢定其實是下一個單元滯後序列分析的基礎概念。你對本單元的卡方獨立性檢定有什麼看法呢?也許還有其他的分析也可以用卡方檢定分析看看喔?不論你之前有沒有學過卡方檢定,都歡迎你在下面留言說說你的想法,或是用左邊的AddThis按個讚或分享喔!