巨量資料探勘與統計應用課程目錄 / Applications of Big Data and Statistics: Table of Contents

這是巨量資料探勘與統計應用課程的投影片「巨量資料探勘與統計應用課程目錄」，也包含了整個課程一開始的導論。本課程的主要核心技術是「資料分析」，而資料分析則含括了「資料探勘」與「統計」這兩種領域，並且適用於處理龐大的「巨量資料」，因此本課程就命名為「巨量資料探勘與統計應用」。為了整理到本blog，我將本系列課程調整為11個單元，由淺入深分成「課程導論與資料處理」、「資料敘述級」、「資料檢定級」、「資料預測級」四大階段，每個單元內都包含該單元要處理的問題與適用資料類型、核心技術。由於當初是以大學生為教學對象，因此本系列課程主要著重在訓練同學擁有實作的即戰力，每個單元都是以二到四個實作學習單組成，輔以少量的公式解說。

這份投影片是巨量資料探勘與統計應用課程的整體介紹，文章也會列出每一個單元的連結。最後我會談談我對這門課程的看法。

超簡單！文本機器分類入門 / Text Classification with Weka

這篇「超簡單！文本機器分類入門」是我在2017年3月於政大圖檔所資料探勘課程中的演講內容，之後演化成後來我在巨量資料探勘與統計應用課程中「非結構化資料分析：文本分類」單元的內容。如果想要看比較完整的文本分類介紹，請看「非結構化資料分析：文本分類」這篇。不過想要看獨立的文本分類課程的話，那也可以從這篇開始看起喔。

非結構化資料分析：文本分類 / Unstructured Text Analytics: Text Classification

這是巨量資料探勘與統計應用課程的投影片「非結構化資料分析：文本分類」。本單元是屬於系列課程中的「資料預測級」中最後一個單元。處理資料類型是為非結構化的資料進行分類，也就是使用類別資料。這邊使用了Jieba斷詞來作文本語義分析，然後使用樸素貝氏多項式文本分類器(NaiveBayesMultinomialText)來為文本進行分類，最後還用特徵篩選(Select attributes)找出關鍵字。到底圖書館員分類編目的核心技能會不會被這篇所講的自動化文本分類機器所取代呢？看完這個單元你就可以知道結果了。本單元使用了二個我自製的工具來搭配Weka實作文本分類，單元內包含了四份實作學習單跟一份測驗，供同學邊看邊練習。這個單元包含了四個實作學習單跟一份測驗，供同學邊看邊練習。

貝氏網路的結果預測與原因推理：基於專家知識建構的網路結構 / Prediction and Inference with Bayesian Networks Model: Based on Expert Knowledge

前面我將貝氏網路的分類與預測投影片放到blog上，這一篇則是用圖文解說的方式來說明如何在Weka中使用貝氏網路。貝氏網路是一種機器學習預測的方法，其做法大概跟之前所介紹的用Weka分類模型來預測未知案例差不多。貝氏網路分類器本身的正確率通常不高，但是它能夠結合專家知識或領域知識(domain/prior knowledge)來建立預測模型，使得預測結果比較符合人類的思維。另一方面，貝氏網路也可以根據任何已知結果來推理發生的原因，讓我們更容易解釋最後結果。跟類神經網路、支持向量機難以解釋的黑箱演算法相比，貝氏網路這種白箱(white-box)演算法雖然正確率較差，但卻更容易用在任何研究中，協助我們推測研究結果、解釋造成原因。

分群與分類的整合應用：無監督分類器 / Building an Unsupervised Classification: Integrating Cluster and Classification in Weka

最近有讀者問到要怎麼在建立的分群結果之後，對後面新增的資料再依照前面的規則新增分群標籤。這就讓我想起來資料探勘課本裡面常常提到的一個機器學習議題：無監督式的監督學習 (Unsupervised Supervised Learning)，或是成為不需訓練目標的分類法 (Classification wihtout labels)，這篇就叫它作無監督分類器(Unsupervised Classification)。這個做法大多都是將分群結果作為分類的目標標籤，再以此建立分類模型。這種做法聽起來難度挺高的，不過實際在Weka中，我們只要動點巧思，不用寫任何程式，就可以實作這個高級分類技巧。這篇就來介紹一下如何實作無需監督的分類器吧。

參加國際會議經驗分享 / How to Participate in a Conference?

我在上週受邀去ASIS&T臺北分會所舉辦的「行動裝置資料與使用者研究工作坊」的「學生參與國際活動之經驗分享」分享參與國際會議的經驗。現在學術圈大多鼓勵學者參加Call for Papers類型，以全文(full paper)發表並口頭報告(oral)，因此我的重點也放在如何參與這種國際研討會上。我就參與IMLF 2014跟IFLA WLIC 2015兩場的經驗，將整個流程歸納成 1. 投稿、2. 行程安排、3. 參與會議、4. 結案報告 的四大階段，而投影片內更加著重說明投稿時選擇研討會、投稿計劃書、摘要與全文、準備投影片和講稿的做法。在上週工作坊中因時間不夠，沒有機會跟大家好好說明，我還是在這裡放上投影片，希望可以嘉惠有意參與國際研討會的莘莘學子。

分類與預測：貝氏網路 / Classification and Prediction: BayesNet

這是巨量資料探勘與統計應用課程的投影片「分類與預測：貝氏網路」。本單元是屬於系列課程中「資料預測級」的第一個單元，處理資料類型是從「類別」來預測「類別」類型的資料。貝式網路(BayesNet)是一種能夠表示變項間因果關係的機率模型，原理簡單、計算速度快，不僅可以用來預測結果，還能推理可能的原因。貝式網路是早期專家決策支持系統最常使用的模型，例如可以用來協助醫生找尋病因。本單元先用簡單「吸菸可能造成生病」的例子來說明貝式網路的運作方式，再來使用Weka來建立貝式網路結構、準備訓練集跟測試集、顯示貝式網路模型以及預測結果。本單元使用了四個我自製的工具來搭配Weka實作貝式網路預測，單元內包含了三個實作學習單跟一份測驗，供同學邊看邊練習。