行為順序預測：動態貝氏網路 / Behavior Prediction: Dynamic Bayesian Network

這是巨量資料探勘與統計應用課程中行為順序檢定：滯後序列分析與分類與預測：貝氏網路的進階應用。滯後序列分析只能分析前後兩個行為之間的轉變，如果我們想要預測更多步之後的行為，那我們就需要藉助貝氏網路的預測和推理能力。我們可以決定要為幾步內的行為進行建模，如果是兩步之間的模型，稱之為「二時段貝氏網路」(Two-Timeslice Bayesian Network，2TBN)。而這篇文章將以「四時段貝氏網路」來為幼兒平行遊戲事件序列資料，建立能夠預測和解釋幼兒行為的貝氏網路模型。

巨量資料探勘與統計應用課程目錄 / Applications of Big Data and Statistics: Table of Contents

這是巨量資料探勘與統計應用課程的投影片「巨量資料探勘與統計應用課程目錄」，也包含了整個課程一開始的導論。本課程的主要核心技術是「資料分析」，而資料分析則含括了「資料探勘」與「統計」這兩種領域，並且適用於處理龐大的「巨量資料」，因此本課程就命名為「巨量資料探勘與統計應用」。為了整理到本blog，我將本系列課程調整為11個單元，由淺入深分成「課程導論與資料處理」、「資料敘述級」、「資料檢定級」、「資料預測級」四大階段，每個單元內都包含該單元要處理的問題與適用資料類型、核心技術。由於當初是以大學生為教學對象，因此本系列課程主要著重在訓練同學擁有實作的即戰力，每個單元都是以二到四個實作學習單組成，輔以少量的公式解說。

這份投影片是巨量資料探勘與統計應用課程的整體介紹，文章也會列出每一個單元的連結。最後我會談談我對這門課程的看法。

非結構化資料分析：文本分類 / Unstructured Text Analytics: Text Classification

這是巨量資料探勘與統計應用課程的投影片「非結構化資料分析：文本分類」。本單元是屬於系列課程中的「資料預測級」中最後一個單元。處理資料類型是為非結構化的資料進行分類，也就是使用類別資料。這邊使用了Jieba斷詞來作文本語義分析，然後使用樸素貝氏多項式文本分類器(NaiveBayesMultinomialText)來為文本進行分類，最後還用特徵篩選(Select attributes)找出關鍵字。到底圖書館員分類編目的核心技能會不會被這篇所講的自動化文本分類機器所取代呢？看完這個單元你就可以知道結果了。本單元使用了二個我自製的工具來搭配Weka實作文本分類，單元內包含了四份實作學習單跟一份測驗，供同學邊看邊練習。這個單元包含了四個實作學習單跟一份測驗，供同學邊看邊練習。

貝氏網路的結果預測與原因推理：基於專家知識建構的網路結構 / Prediction and Inference with Bayesian Networks Model: Based on Expert Knowledge

前面我將貝氏網路的分類與預測投影片放到blog上，這一篇則是用圖文解說的方式來說明如何在Weka中使用貝氏網路。貝氏網路是一種機器學習預測的方法，其做法大概跟之前所介紹的用Weka分類模型來預測未知案例差不多。貝氏網路分類器本身的正確率通常不高，但是它能夠結合專家知識或領域知識(domain/prior knowledge)來建立預測模型，使得預測結果比較符合人類的思維。另一方面，貝氏網路也可以根據任何已知結果來推理發生的原因，讓我們更容易解釋最後結果。跟類神經網路、支持向量機難以解釋的黑箱演算法相比，貝氏網路這種白箱(white-box)演算法雖然正確率較差，但卻更容易用在任何研究中，協助我們推測研究結果、解釋造成原因。

分類與預測：貝氏網路 / Classification and Prediction: BayesNet

這是巨量資料探勘與統計應用課程的投影片「分類與預測：貝氏網路」。本單元是屬於系列課程中「資料預測級」的第一個單元，處理資料類型是從「類別」來預測「類別」類型的資料。貝式網路(BayesNet)是一種能夠表示變項間因果關係的機率模型，原理簡單、計算速度快，不僅可以用來預測結果，還能推理可能的原因。貝式網路是早期專家決策支持系統最常使用的模型，例如可以用來協助醫生找尋病因。本單元先用簡單「吸菸可能造成生病」的例子來說明貝式網路的運作方式，再來使用Weka來建立貝式網路結構、準備訓練集跟測試集、顯示貝式網路模型以及預測結果。本單元使用了四個我自製的工具來搭配Weka實作貝式網路預測，單元內包含了三個實作學習單跟一份測驗，供同學邊看邊練習。

資料預測級導論： 分類的處理流程 / Introduction to Data Prediction: Procedure of Classification

這是巨量資料探勘與統計應用課程的投影片「資料預測級導論： 分類的處理流程」。本單元是屬於系列課程中的「資料預測級」的導論，這份投影片是為了銜接前面的「資料檢定級」與後面的概念，資料預測級的概念上比較接近現在「巨量資料(大數據)」或「人工智慧」的範疇，都是為了獲得一個「答案」，特別適用於「類別」類型的答案，這種做法稱之為「分類」。分類的步驟大致上分成 1. 準備資料、2. 建立模型、3. 評估模型、4. 預測未知、5. 修正模型。介紹最後還附上了一個以貝式網路建立的模型，可以讓同學先體驗用有沒有吸菸預測是否可能生病的機率。

行為順序檢定：滯後序列分析 / Behavior Analysis: Lag Sequential Analysis

這是巨量資料探勘與統計應用課程的投影片「行為順序檢定：序列分析」。本單元是屬於系列課程中的「資料檢定級」的最後一個單元，處理資料類型也是在行為的「類別」類型資料，使用的分析技術就是以前我常常提到的滯後序列探勘(lag sequential analysis)。滯後序列分析是延伸前一單元列聯表的檢定方式，但是不像卡方統計量是用於檢定整體列聯表，它使用Allison與Liker(1982)的調整後殘差計算方式來做細格檢定。雖然資料類型都以列聯表呈現，不過計算方法可是差很多的喔。跟以前我介紹滯後序列分析的內容相比，這次不僅採用比較嚴謹的Allison與Liker的計算方法，還加入了相關係數Yule'Q的計算，並直接用jsPlumb畫出了事件轉移圖。本單元使用我所開發的滯後序列分析計算器來作計算，包含兩個實作學習單跟一份測驗，供同學邊看邊練習。

類別變項的相關檢定：卡方獨立性檢定 / Correlations with Categorical Variables: Chi-Square Test of Independence

這是巨量資料探勘與統計應用課程的投影片「類別變項的相關檢定：卡方獨立性檢定」。本單元是屬於系列課程中的「資料檢定級」中的第三個單元，處理資料類型是「類別」類型的資料，可以檢測出兩兩類別資料之間的關係。本單元要講的分析技術是推論統計的卡方獨立性檢定(Chi-Square Test of Independence)，相當適合質性研究所蒐集的類別資料或行為分析。本單元的分析工具是我額外開發的「卡方獨立性檢定計算器」，在投影片裡面還談到了隱含在卡方檢定之後的陷阱：辛普森詭論(Simpson's paradox)。這個單元包含了四個實作學習單，供同學邊看邊練習。

連續變項的相關檢定：皮爾森積差相關分析 / Bivariate Correlation Analysis: Pearson Correlation Coefficient

這是巨量資料探勘與統計應用課程的投影片「連續變項的相關檢定：皮爾森積差相關分析」。本單元是屬於系列課程中的「資料檢定級」的第二個單元，處理資料類型是分析兩兩「連續」資料之間的關係。本單元將會教同學推論統計另外一個很常見的分析技術：皮爾森積差相關分析，它可以用來檢測兩個連續變項之間的相關程度與相關的方向。本單元使用我撰寫的皮爾森積差相關分析計算器，並不需要同學用手算。這個單元包含了二個實作學習單跟一份測驗，供同學邊看邊練習。

連續變項的差異檢定：獨立樣本t檢定 / Testing Differences Between Means: Independent t-test

這是巨量資料探勘與統計應用課程的投影片「連續變項的差異檢定：獨立樣本t檢定」。本單元是屬於系列課程中的「資料檢定級」的第一個單元，處理資料類型是從「類別」分類的「連續」資料。本單元主要教的是推論統計最常見的分析技術：獨立樣本t檢定，可以用來檢測兩組不同樣本的平均值是否有顯著差異。t檢定是由健力士的統計學家William Sealy Gosset博士發表的經典分析方法。在喝健力士啤酒的時候，可別忘了統計的t檢定喔。本單元使用了R-Web跟我撰寫的獨立樣本t檢定計算器，並不需要同學用手算。這個單元包含了二個實作學習單，供同學邊看邊練習。

資料檢定級導論： 從數學到統計 / Inferential Statistics: An Introduction

這是巨量資料探勘與統計應用課程的投影片「資料檢定級導論： 從數學到統計」。本單元是屬於系列課程中的「資料檢定級」，是銜接「資料敘述級」之後下一個階段的導言課程。許多人學習統計時，都知道統計分成敘述統計(descriptive statistics)跟推論統計(inferential statistics)，前者很好理解，但為何需要推論統計？而這兩者又跟高中以前學的數學有什麼不一樣呢？

要理解推論統計，必須要先理解母體模型的概念。我們手邊看到的資料，在推論統計的框架中，它僅僅只是眾多樣本中的一次抽樣。因此我們在比較不同的樣本群時，注重的不是樣本的層次，而是樣本背後代表的母體模型。樣本對應到母體模型所計算出的檢定統計量，以及此檢定統計量可能出現的機率，才是推論統計的思維。

老實說，這個概念很難懂。因此我試著用自己的方式來詮釋這套思維，並在之中強調「檢定統計量」的核心概念，希望能讓同學比較容易理解推論統計的運作方式。因為本篇只是導言，並沒有任何練習內容或測驗。

最佳化問題：規劃求解 / Optimization Problem: Solver

這是巨量資料探勘與統計應用課程的投影片「最佳化問題：規劃求解」。本單元雖然被歸類系列課程中的「資料敘述級」，但其實它跟其他的資料分析方法有很大的不同：規劃求解會直接給你明確的答案。在本單元中，處理資料類型為「連續」類型。

「規劃求解」是屬於「最佳化問題」領域中的技術。雖然同樣是處理數字，但「最佳化問題」並非「統計」，而跟「資料探勘」領域比較相近。在大部分資料探勘的工具裡，要解決的問題比較明確、使用者較難以自行控制。而許多資料探勘介紹的基因演算法(Genetic Algorithm, GA)又是「最佳化問題」中的進階技術，一般使用者難以輕易上手。所以我這個單元介紹的是「最佳化問題」中比較基礎的「規劃求解」。

「工廠在有限的物料跟時間內，要選擇生產多少產品，才能賺到最多利潤？」或者是「圖書館有10萬元經費，不同讀者想看不同類型的書，要怎麼買才能在有限經費內滿足讀者需求？」像是這些問題，都可以用規劃求解來找出答案。本單元利用Google試算表的Solver來實作規劃求解，學生不用自己動手算喔。這個單元包含了三個實作學習單，供同學邊看邊練習。

資料聚類：分群 / Clustering

這是巨量資料探勘與統計應用課程的投影片「資料聚類：分群」。本單元是屬於系列課程中的「資料敘述級」，處理資料類型主要是「連續」類型資料，不過其實Weka的K平均法也能處理「類別」資料就是了。

本單元的「分群技術」屬於「資料探勘」(data mining)領域的其中一個主題，而此技術是繼前面統計圖表、資料的中心與離度之上，可用於描述多維度、超大量複雜資料的有效方法。如果你拿到一份複雜的資料，不知道該怎麼解析它的時候，不妨先丟進分群跑看看資料會有什麼特徵吧。

我為了這個單元開發了「Weka分群結果分析器」，可以搭配Weka中K平均法分群一起使用。這個單元包含了四個實作學習單，供同學邊看邊練習。

資料的中心與離度 / Measures of Center and Spread

這是巨量資料探勘與統計應用課程的投影片「資料的中心與離度」。本單元是屬於系列課程中的「資料敘述級」，處理資料類型主要是「連續」類，但也其中的眾數也可以描述「類別」類型。

這個單元講述的是各位同學國中就學過的均值跟離度的算法，包括平均數、中位數、眾數、最大值、最小值、四分位數、變異數與標準差。這次我們的重點不在於計算，而是要瞭解均值跟離度如何有效地用於描述資料。跟以前大多著重在公式跟按計算機不同，現在我們就用Google試算表的函式計算均值跟離度即可。本單元包括了五個實作學習單，供同學邊看邊練習。

資訊視覺化：統計圖表 / Data Visualization: Statistical Charts and Diagrams

這是巨量資料探勘與統計應用課程的投影片「資訊視覺化：統計圖表」。本單元是屬於系列課程中的「資料敘述級」，處理資料類型包括了「類別」跟「連續」兩種。

本單元一開始講述了「資料敘述級」的分析步驟，而這個單元則是步驟中「將資料畫成圖」的一環。本單元跟同學介紹了資訊視覺化的概念、統計圖表及其繪製講述，然後各種資料類型可繪製的統計圖表。這個單元包含了四個實作內容。

資料的來源與形態 / Data Source and Format

這是巨量資料探勘與統計應用課程的投影片「資料的來源與形態」。本單元是屬於系列課程中的導論「資料處理」。本單元先定義資料的形態，包括非結構化資料跟結構化資料，再來講述如何從開放資料(open data)中取得資料來源，以及資料的各種格式。本單元也說明這系列課程所使用的Google試算表的主要操作方式，以及學生填寫和繳交學習單作業的程序。這個單元包含一個測驗、兩個實作內容。