貝氏網路的結果預測與原因推理：基於專家知識建構的網路結構 / Prediction and Inference with Bayesian Networks Model: Based on Expert Knowledge

前面我將貝氏網路的分類與預測投影片放到blog上，這一篇則是用圖文解說的方式來說明如何在Weka中使用貝氏網路。貝氏網路是一種機器學習預測的方法，其做法大概跟之前所介紹的用Weka分類模型來預測未知案例差不多。貝氏網路分類器本身的正確率通常不高，但是它能夠結合專家知識或領域知識(domain/prior knowledge)來建立預測模型，使得預測結果比較符合人類的思維。另一方面，貝氏網路也可以根據任何已知結果來推理發生的原因，讓我們更容易解釋最後結果。跟類神經網路、支持向量機難以解釋的黑箱演算法相比，貝氏網路這種白箱(white-box)演算法雖然正確率較差，但卻更容易用在任何研究中，協助我們推測研究結果、解釋造成原因。

分群與分類的整合應用：無監督分類器 / Building an Unsupervised Classification: Integrating Cluster and Classification in Weka

最近有讀者問到要怎麼在建立的分群結果之後，對後面新增的資料再依照前面的規則新增分群標籤。這就讓我想起來資料探勘課本裡面常常提到的一個機器學習議題：無監督式的監督學習 (Unsupervised Supervised Learning)，或是成為不需訓練目標的分類法 (Classification wihtout labels)，這篇就叫它作無監督分類器(Unsupervised Classification)。這個做法大多都是將分群結果作為分類的目標標籤，再以此建立分類模型。這種做法聽起來難度挺高的，不過實際在Weka中，我們只要動點巧思，不用寫任何程式，就可以實作這個高級分類技巧。這篇就來介紹一下如何實作無需監督的分類器吧。

參加國際會議經驗分享 / How to Participate in a Conference?

我在上週受邀去ASIS&T臺北分會所舉辦的「行動裝置資料與使用者研究工作坊」的「學生參與國際活動之經驗分享」分享參與國際會議的經驗。現在學術圈大多鼓勵學者參加Call for Papers類型，以全文(full paper)發表並口頭報告(oral)，因此我的重點也放在如何參與這種國際研討會上。我就參與IMLF 2014跟IFLA WLIC 2015兩場的經驗，將整個流程歸納成 1. 投稿、2. 行程安排、3. 參與會議、4. 結案報告 的四大階段，而投影片內更加著重說明投稿時選擇研討會、投稿計劃書、摘要與全文、準備投影片和講稿的做法。在上週工作坊中因時間不夠，沒有機會跟大家好好說明，我還是在這裡放上投影片，希望可以嘉惠有意參與國際研討會的莘莘學子。

分類與預測：貝氏網路 / Classification and Prediction: BayesNet

這是巨量資料探勘與統計應用課程的投影片「分類與預測：貝氏網路」。本單元是屬於系列課程中「資料預測級」的第一個單元，處理資料類型是從「類別」來預測「類別」類型的資料。貝式網路(BayesNet)是一種能夠表示變項間因果關係的機率模型，原理簡單、計算速度快，不僅可以用來預測結果，還能推理可能的原因。貝式網路是早期專家決策支持系統最常使用的模型，例如可以用來協助醫生找尋病因。本單元先用簡單「吸菸可能造成生病」的例子來說明貝式網路的運作方式，再來使用Weka來建立貝式網路結構、準備訓練集跟測試集、顯示貝式網路模型以及預測結果。本單元使用了四個我自製的工具來搭配Weka實作貝式網路預測，單元內包含了三個實作學習單跟一份測驗，供同學邊看邊練習。

資料預測級導論： 分類的處理流程 / Introduction to Data Prediction: Procedure of Classification

這是巨量資料探勘與統計應用課程的投影片「資料預測級導論： 分類的處理流程」。本單元是屬於系列課程中的「資料預測級」的導論，這份投影片是為了銜接前面的「資料檢定級」與後面的概念，資料預測級的概念上比較接近現在「巨量資料(大數據)」或「人工智慧」的範疇，都是為了獲得一個「答案」，特別適用於「類別」類型的答案，這種做法稱之為「分類」。分類的步驟大致上分成 1. 準備資料、2. 建立模型、3. 評估模型、4. 預測未知、5. 修正模型。介紹最後還附上了一個以貝式網路建立的模型，可以讓同學先體驗用有沒有吸菸預測是否可能生病的機率。

行為順序檢定：滯後序列分析 / Behavior Analysis: Lag Sequential Analysis

這是巨量資料探勘與統計應用課程的投影片「行為順序檢定：序列分析」。本單元是屬於系列課程中的「資料檢定級」的最後一個單元，處理資料類型也是在行為的「類別」類型資料，使用的分析技術就是以前我常常提到的滯後序列探勘(lag sequential analysis)。滯後序列分析是延伸前一單元列聯表的檢定方式，但是不像卡方統計量是用於檢定整體列聯表，它使用Allison與Liker(1982)的調整後殘差計算方式來做細格檢定。雖然資料類型都以列聯表呈現，不過計算方法可是差很多的喔。跟以前我介紹滯後序列分析的內容相比，這次不僅採用比較嚴謹的Allison與Liker的計算方法，還加入了相關係數Yule'Q的計算，並直接用jsPlumb畫出了事件轉移圖。本單元使用我所開發的滯後序列分析計算器來作計算，包含兩個實作學習單跟一份測驗，供同學邊看邊練習。

類別變項的相關檢定：卡方獨立性檢定 / Correlations with Categorical Variables: Chi-Square Test of Independence

這是巨量資料探勘與統計應用課程的投影片「類別變項的相關檢定：卡方獨立性檢定」。本單元是屬於系列課程中的「資料檢定級」中的第三個單元，處理資料類型是「類別」類型的資料，可以檢測出兩兩類別資料之間的關係。本單元要講的分析技術是推論統計的卡方獨立性檢定(Chi-Square Test of Independence)，相當適合質性研究所蒐集的類別資料或行為分析。本單元的分析工具是我額外開發的「卡方獨立性檢定計算器」，在投影片裡面還談到了隱含在卡方檢定之後的陷阱：辛普森詭論(Simpson's paradox)。這個單元包含了四個實作學習單，供同學邊看邊練習。

連續變項的相關檢定：皮爾森積差相關分析 / Bivariate Correlation Analysis: Pearson Correlation Coefficient

這是巨量資料探勘與統計應用課程的投影片「連續變項的相關檢定：皮爾森積差相關分析」。本單元是屬於系列課程中的「資料檢定級」的第二個單元，處理資料類型是分析兩兩「連續」資料之間的關係。本單元將會教同學推論統計另外一個很常見的分析技術：皮爾森積差相關分析，它可以用來檢測兩個連續變項之間的相關程度與相關的方向。本單元使用我撰寫的皮爾森積差相關分析計算器，並不需要同學用手算。這個單元包含了二個實作學習單跟一份測驗，供同學邊看邊練習。

連續變項的差異檢定：獨立樣本t檢定 / Testing Differences Between Means: Independent t-test

這是巨量資料探勘與統計應用課程的投影片「連續變項的差異檢定：獨立樣本t檢定」。本單元是屬於系列課程中的「資料檢定級」的第一個單元，處理資料類型是從「類別」分類的「連續」資料。本單元主要教的是推論統計最常見的分析技術：獨立樣本t檢定，可以用來檢測兩組不同樣本的平均值是否有顯著差異。t檢定是由健力士的統計學家William Sealy Gosset博士發表的經典分析方法。在喝健力士啤酒的時候，可別忘了統計的t檢定喔。本單元使用了R-Web跟我撰寫的獨立樣本t檢定計算器，並不需要同學用手算。這個單元包含了二個實作學習單，供同學邊看邊練習。

資料檢定級導論： 從數學到統計 / Inferential Statistics: An Introduction

這是巨量資料探勘與統計應用課程的投影片「資料檢定級導論： 從數學到統計」。本單元是屬於系列課程中的「資料檢定級」，是銜接「資料敘述級」之後下一個階段的導言課程。許多人學習統計時，都知道統計分成敘述統計(descriptive statistics)跟推論統計(inferential statistics)，前者很好理解，但為何需要推論統計？而這兩者又跟高中以前學的數學有什麼不一樣呢？

要理解推論統計，必須要先理解母體模型的概念。我們手邊看到的資料，在推論統計的框架中，它僅僅只是眾多樣本中的一次抽樣。因此我們在比較不同的樣本群時，注重的不是樣本的層次，而是樣本背後代表的母體模型。樣本對應到母體模型所計算出的檢定統計量，以及此檢定統計量可能出現的機率，才是推論統計的思維。

老實說，這個概念很難懂。因此我試著用自己的方式來詮釋這套思維，並在之中強調「檢定統計量」的核心概念，希望能讓同學比較容易理解推論統計的運作方式。因為本篇只是導言，並沒有任何練習內容或測驗。

最佳化問題：規劃求解 / Optimization Problem: Solver

這是巨量資料探勘與統計應用課程的投影片「最佳化問題：規劃求解」。本單元雖然被歸類系列課程中的「資料敘述級」，但其實它跟其他的資料分析方法有很大的不同：規劃求解會直接給你明確的答案。在本單元中，處理資料類型為「連續」類型。

「規劃求解」是屬於「最佳化問題」領域中的技術。雖然同樣是處理數字，但「最佳化問題」並非「統計」，而跟「資料探勘」領域比較相近。在大部分資料探勘的工具裡，要解決的問題比較明確、使用者較難以自行控制。而許多資料探勘介紹的基因演算法(Genetic Algorithm, GA)又是「最佳化問題」中的進階技術，一般使用者難以輕易上手。所以我這個單元介紹的是「最佳化問題」中比較基礎的「規劃求解」。

「工廠在有限的物料跟時間內，要選擇生產多少產品，才能賺到最多利潤？」或者是「圖書館有10萬元經費，不同讀者想看不同類型的書，要怎麼買才能在有限經費內滿足讀者需求？」像是這些問題，都可以用規劃求解來找出答案。本單元利用Google試算表的Solver來實作規劃求解，學生不用自己動手算喔。這個單元包含了三個實作學習單，供同學邊看邊練習。

AI能夠告訴你未來？用Weka實作多變項時間序列預測 / Time Series Forecasting with Weka

這是本學期我在政大圖檔所專題討論課程中介紹的內容，主題是「用Weka實作多變項時間序列預測」。傳統的時間序列分析(time series analysis)著重於以統計為主的ARIMA模型，分析過程著重於模型的選擇與判斷，一般僅以時間變項進行預測。Weka則是從資料探勘中迴歸(regression)的角度來實作時間序列預測(time series forecasting)，使用的預測演算法可以是線性迴歸(Linear Regression)、類神經網路預測(MultilayerPerceptron)、或支持向量機迴歸(SMOreg)，甚至可以加入疊加變項(overlay)，就能實作多變項的時間序列預測。

本文除了放上我在專題演講的投影片之外，也將使用Weka進行時間序列預測的做法整理出來，供大家一步一步操作、學習。

AI解籤不用1秒，廟公要失業了嗎？Weka的中文自動評分：預測詩籤的等第 / Automatic Chinese Text Scoring in Weka: Rating Fortune Slips

人工智慧要為非結構性的文本型資料評分，要評到精準是很難，但如果只是簡單地給個評分的話，其實是非常簡單的事情，不需要寫任何程式碼。繼我之前寫的「Weka試跑文本評分」，這次我一樣直接使用Weka來為「雷雨詩籤百首」中的籤文與等第建模，做到Weka看到「一舟行貨好招邀 積少成多自富饒 常把他人比自己 管須日後勝今朝」就知道是「上吉」。此外，還能透過特徵選取(select attributes)功能來篩選出影響等第的籤文關鍵字喔。

從PHP的Fat-Free Framework框架來看用Node.js的Express框架開發網站的心得 / Fat-Free Framework in PHP vs. Express in Node.js: Pros and Cons of Node.js

之前我跟學弟嘗試使用Node.js的Express框架來開發網站。本想著前端跟後端都可以統一使用JavaScript，但實際嘗試之後才發現Express框架問題頗多。這兩天為了把Zotero的資料庫寫成網站，我回頭使用PHP的Fat-Free Framework框架來開發，順手程度讓我感動到痛哭流涕，不禁想要寫一篇來整理一下Node.js的各種問題。這篇就閒聊一下吧。

社會網絡分析之隨機圖模型 / Social Network Analysis: Random Graph Models

這是介紹「PAJEK 蜘蛛: 社會網絡分析技術」這本書中的第13章「隨機圖模型」的投影片。這本書使用社會網絡分析工具「pajek 蜘蛛」來分析研究者所蒐集的實測社群本身可能符合或不符合那些隨機圖模型(random graph models)。書中介紹的隨機圖模型包括伯努利隨機圖模型(Bernoulli random graph model)、條件統一隨機圖模型 (Conditional uniform random graph models)、小世界模型 (small world model)與優先連接模型 (scale free model)，它們有各自的假設背景、建構網絡的隨機過程以及展現出來結構特徵。本書以蒙特卡洛模擬(Monte Carlo simulation)來建構各個隨機圖模型的信賴區間，藉以判斷實測網路與這些隨機圖模型的異同。

感謝大家支持，捐款功能上線囉！ / New Feature: Donation

你覺得「布丁布丁吃什麼？」的文章對你有幫助嗎？現在本Blog使用綠界科技的實況主收款功能加入了贊助捐款的功能囉！您可以自由決定捐款金額，並可接受信用卡、網路ATM、ATM櫃員機、便利商店代碼付費等方式付款喔！

藍牙耳機一直斷線？解決Android藍牙耳機的斷線問題 / How to solve Bluetooth randomly Disconnecting Issue on Android Smartphone

因為我原本的手機電池膨脹了，所以我最近買了另一隻沒有耳機孔的Android智慧型手機HTC U11，想說搭配之前買的藍牙耳機SAMZU神族就可以解決這個問題，不過在藍牙連線狀態下連上行動網路時，藍牙耳機就會斷線。而行動網路沒連線時，藍牙耳機又會恢復連線。

後來我在網路上找到了katieelva的建議，在藍牙裝置配對的時候，用於功能取消勾選「聯絡人分享」，之後藍牙耳機就再也沒有發生異常斷線的問題了。這篇將這個方法整理一下，供大家參考。

社會網絡分析之塊模型 / Social Network Analysis: Block Modeling

這是介紹「PAJEK 蜘蛛: 社會網絡分析技術」這本書中第12章「塊模型」的投影片。這本書使用社會網絡分析工具「pajek 蜘蛛」來找出社群中人與人之間互動的共同模式，稱之為「塊」(block)。在塊模型中是以鄰接矩陣作為分析工具，而本章則介紹了塊模型的基本概念，全型塊(complete)、無型塊(null)、正則塊(regular)等塊的類型，並介紹核心──週邊架構(core-periphery structure)、與等級架構(hierarchical structure)等常見的塊模型。值得注意的是，蜘蛛的塊模型處理方式跟UCINet中塊模型的處理方式不同，我個人覺得蜘蛛的塊模型分析比較讓人容易理解。

「布丁布丁吃什麼？」開站以來的網頁瀏覽記錄突破四百萬 / Over 4 Million Visits Record!

上週在看統計記錄的時候，我還在想應該還有一段時間才會突破四百萬吧。不過今天打開一看，網頁瀏覽記錄居然已經是401萬了。這篇記錄一下上次看到三百萬瀏覽次數的時間，以及我通常會看那些網頁瀏覽記錄資料，最後跟大家聊聊本blog的一些熱門文章。

資料聚類：分群 / Clustering

這是巨量資料探勘與統計應用課程的投影片「資料聚類：分群」。本單元是屬於系列課程中的「資料敘述級」，處理資料類型主要是「連續」類型資料，不過其實Weka的K平均法也能處理「類別」資料就是了。

本單元的「分群技術」屬於「資料探勘」(data mining)領域的其中一個主題，而此技術是繼前面統計圖表、資料的中心與離度之上，可用於描述多維度、超大量複雜資料的有效方法。如果你拿到一份複雜的資料，不知道該怎麼解析它的時候，不妨先丟進分群跑看看資料會有什麼特徵吧。

我為了這個單元開發了「Weka分群結果分析器」，可以搭配Weka中K平均法分群一起使用。這個單元包含了四個實作學習單，供同學邊看邊練習。

在Linux中用指令新增排程 / How to Create a Cron Job via Shell Script

最近我想要為Zentyal加上排程備份的時候，發現使用Shell Script指令修改 /etc/crontab 檔案並不會實際上觸發排程(儘管如果用vim /etc/crontab 是可以觸發排程的)。後來我參考TheBonsai的建議，用crontab指令來新增排程，這樣就可以成功。

資料的中心與離度 / Measures of Center and Spread

這是巨量資料探勘與統計應用課程的投影片「資料的中心與離度」。本單元是屬於系列課程中的「資料敘述級」，處理資料類型主要是「連續」類，但也其中的眾數也可以描述「類別」類型。

這個單元講述的是各位同學國中就學過的均值跟離度的算法，包括平均數、中位數、眾數、最大值、最小值、四分位數、變異數與標準差。這次我們的重點不在於計算，而是要瞭解均值跟離度如何有效地用於描述資料。跟以前大多著重在公式跟按計算機不同，現在我們就用Google試算表的函式計算均值跟離度即可。本單元包括了五個實作學習單，供同學邊看邊練習。

資訊視覺化：統計圖表 / Data Visualization: Statistical Charts and Diagrams

這是巨量資料探勘與統計應用課程的投影片「資訊視覺化：統計圖表」。本單元是屬於系列課程中的「資料敘述級」，處理資料類型包括了「類別」跟「連續」兩種。

本單元一開始講述了「資料敘述級」的分析步驟，而這個單元則是步驟中「將資料畫成圖」的一環。本單元跟同學介紹了資訊視覺化的概念、統計圖表及其繪製講述，然後各種資料類型可繪製的統計圖表。這個單元包含了四個實作內容。

資料的來源與形態 / Data Source and Format

這是巨量資料探勘與統計應用課程的投影片「資料的來源與形態」。本單元是屬於系列課程中的導論「資料處理」。本單元先定義資料的形態，包括非結構化資料跟結構化資料，再來講述如何從開放資料(open data)中取得資料來源，以及資料的各種格式。本單元也說明這系列課程所使用的Google試算表的主要操作方式，以及學生填寫和繳交學習單作業的程序。這個單元包含一個測驗、兩個實作內容。

數位繪圖開心畫：線稿、上色與遊戲 / Let's Draw on the Computer: Outline, Colour and Gamify

這是2017年我在國立空中大學數位故事研習社講的主題：「數位繪圖開心畫：線稿、上色與遊戲」。這次著重的是借助一些免安裝的免費工具來進行簡單的數位繪圖，是開心畫的課程。而趁著人工智慧風潮的盛行，課程中也加入了Google的AutoDraw繪製線稿、Python的PaintsChainer智慧上色等內容。最後再將成品做成滑塊拼圖遊戲，將繪製的成果分享給其他朋友。

你玩過滑塊拼圖嗎？可自訂的HTML5滑塊拼圖遊戲 / Customizable Sliding Puzzle in HTML5

畫了一張圖、拍了漂亮的照片，還可以做什麼加值應用呢？我參考Venkat Pola的程式碼，將我很喜歡玩的遊戲「滑塊拼圖」做成了可直接在瀏覽器執行的線上遊戲，而滑塊拼圖的圖片還可以由使用者自訂喔。這篇就來說明我做的這個滑塊拼圖遊戲吧。

• Sliding Puzzle: https://github.com/pulipulichen/Sliding-Puzzle

修復Proxmox VE：用指令強制刪除虛擬機器 / Fix Proxmox VE: Remove OpenVZ Container by a Command

本篇是介紹如何處理在Proxmox VE中無法在網頁管理介面(web-based management)中刪除OpenVZ的問題。這個錯誤是因為OpenVZ虛擬機器的本體檔案在刪除、備份、還原的途中被強制中斷，導致OpenVZ檔案遺失、但是設定檔(*.conf)卻還在節點(node)之中，所以在網頁管理介面中仍然會出現那個虛擬機器，但是無法藉由網頁管理介面刪除。這時候只要用指令列中移除在 /etc/pve/openvz/ 的設定檔，刪不掉的虛擬機器就會消失了。

HTML編輯器自己做！布丁版TinyMCE編緝器 / An Online HTML Editor: Customized TinyMCE Editor

說到編輯HTML的編輯器，你會想到那個工具呢？純寫程式碼用的Sublime Text、Notepad++？給不會程式碼用的Word轉存HTML格式？混合編輯的Dreamweaver？真要我說的話，目前我看過最好、最乾淨、各種編輯器之間轉換最漂亮的編輯器，就是TinyMCE。

TinyMCE一般只是作為網站裡面將<textarea>轉變為所見即得編輯器的小工具，能像是編輯Word一樣地編輯HTML網頁，最後產生的HTML程式碼又乾淨又漂亮。我因為太常使用TinyMCE來編輯HTML網頁程式碼，特別是表格的編輯，所以乾脆索性把TinyMCE做成獨立的布丁版TinyMCE編輯器，讓人需要的時候就直接打開網頁、使用TinyMCE編輯網頁吧。

• 布丁版TinyMCE編輯器：https://pulipulichen.github.io/TinyMCE-Online-Editor/

用網頁來做合併列印！HTML合併列印小工具 / Online HTML Mail Merger

如果要用試算表資料搭配有格式的文件，批次地產生大量檔案的話，要怎麼呢？Word為主的合併列印方案都只能在單一檔案中產生許多重複範本的內容，不符合我的需求。於是我乾脆重新寫一個能夠以CSV試算表檔案搭配HTML網頁範本產生合併列印效果的線上版合併列印小工具：HTML Mail Merger。它會讀取CSV中的欄位資料以及檔案名稱(filename)欄位，以此批次產生取代以大括弧「{}」夾住的佔位符號和指定檔案名稱的檔案。合併列印再也不用仰賴Word，直接線上就處理完成吧。

就是要用Google雲端硬碟教育版的10TB空間！Google備份與同步處理的做法 / How to use Google Drive for Education with Backup and Sync from Google

我在之前寫的「想用無限空間沒那麼容易！Google Drive與伺服器整合失敗記錄 」中提到想用ownCloud或google-drive-ocamlfuse來使用Google雲端硬碟教育版的10TB空間，不過後來Google自己推出了Google備份與同步處理 (Backup and Sync from Google)，那我也躍躍欲試地用它來備份電腦中的Zotero檔案囉。然而，Google雲端硬碟教育版似乎是禁止搭配Google備份跟同步處理功能一起使用，雖然軟體依然可以備份電腦上的檔案，但卻沒辦法在Google雲端硬碟網頁上直接看到已經備份的檔案內容。儘管如此，我們依然可以用Google備份與同步處理的「Visit Google Drive on the web」來找到已經備份的資料夾。讓我們看看怎麼做吧。