這是巨量資料探勘與統計應用課程的投影片「資料聚類：分群」。本單元是屬於系列課程中的「資料敘述級」，處理資料類型主要是「連續」類型資料，不過其實Weka的K平均法也能處理「類別」資料就是了。
本單元的「分群技術」屬於「資料探勘」(data mining)領域的其中一個主題，而此技術是繼前面統計圖表、資料的中心與離度之上，可用於描述多維度、超大量複雜資料的有效方法。如果你拿到一份複雜的資料，不知道該怎麼解析它的時候，不妨先丟進分群跑看看資料會有什麼特徵吧。
我為了這個單元開發了「Weka分群結果分析器」，可以搭配Weka中K平均法分群一起使用。這個單元包含了四個實作學習單，供同學邊看邊練習。
(more...)最近我想要為Zentyal加上排程備份的時候，發現使用Shell Script指令修改 /etc/crontab 檔案並不會實際上觸發排程(儘管如果用vim /etc/crontab 是可以觸發排程的)。後來我參考TheBonsai的建議，用crontab指令來新增排程，這樣就可以成功。
(more...)這是巨量資料探勘與統計應用課程的投影片「資料的中心與離度」。本單元是屬於系列課程中的「資料敘述級」，處理資料類型主要是「連續」類，但也其中的眾數也可以描述「類別」類型。
這個單元講述的是各位同學國中就學過的均值跟離度的算法，包括平均數、中位數、眾數、最大值、最小值、四分位數、變異數與標準差。這次我們的重點不在於計算，而是要瞭解均值跟離度如何有效地用於描述資料。跟以前大多著重在公式跟按計算機不同，現在我們就用Google試算表的函式計算均值跟離度即可。本單元包括了五個實作學習單，供同學邊看邊練習。
(more...)這是巨量資料探勘與統計應用課程的投影片「資訊視覺化：統計圖表」。本單元是屬於系列課程中的「資料敘述級」，處理資料類型包括了「類別」跟「連續」兩種。
本單元一開始講述了「資料敘述級」的分析步驟，而這個單元則是步驟中「將資料畫成圖」的一環。本單元跟同學介紹了資訊視覺化的概念、統計圖表及其繪製講述，然後各種資料類型可繪製的統計圖表。這個單元包含了四個實作內容。
(more...)這是巨量資料探勘與統計應用課程的投影片「資料的來源與形態」。本單元是屬於系列課程中的導論「資料處理」。本單元先定義資料的形態，包括非結構化資料跟結構化資料，再來講述如何從開放資料(open data)中取得資料來源，以及資料的各種格式。本單元也說明這系列課程所使用的Google試算表的主要操作方式，以及學生填寫和繳交學習單作業的程序。這個單元包含一個測驗、兩個實作內容。
(more...)這是2017年我在國立空中大學數位故事研習社講的主題：「數位繪圖開心畫：線稿、上色與遊戲」。這次著重的是借助一些免安裝的免費工具來進行簡單的數位繪圖，是開心畫的課程。而趁著人工智慧風潮的盛行，課程中也加入了Google的AutoDraw繪製線稿、Python的PaintsChainer智慧上色等內容。最後再將成品做成滑塊拼圖遊戲，將繪製的成果分享給其他朋友。
(more...)畫了一張圖、拍了漂亮的照片，還可以做什麼加值應用呢？我參考Venkat Pola的程式碼，將我很喜歡玩的遊戲「滑塊拼圖」做成了可直接在瀏覽器執行的線上遊戲，而滑塊拼圖的圖片還可以由使用者自訂喔。這篇就來說明我做的這個滑塊拼圖遊戲吧。
本篇是介紹如何處理在Proxmox VE中無法在網頁管理介面(web-based management)中刪除OpenVZ的問題。這個錯誤是因為OpenVZ虛擬機器的本體檔案在刪除、備份、還原的途中被強制中斷，導致OpenVZ檔案遺失、但是設定檔(*.conf)卻還在節點(node)之中，所以在網頁管理介面中仍然會出現那個虛擬機器，但是無法藉由網頁管理介面刪除。這時候只要用指令列中移除在 /etc/pve/openvz/ 的設定檔，刪不掉的虛擬機器就會消失了。
(more...)說到編輯HTML的編輯器，你會想到那個工具呢？純寫程式碼用的Sublime Text、Notepad++？給不會程式碼用的Word轉存HTML格式？混合編輯的Dreamweaver？真要我說的話，目前我看過最好、最乾淨、各種編輯器之間轉換最漂亮的編輯器，就是TinyMCE。
TinyMCE一般只是作為網站裡面將<textarea>轉變為所見即得編輯器的小工具，能像是編輯Word一樣地編輯HTML網頁，最後產生的HTML程式碼又乾淨又漂亮。我因為太常使用TinyMCE來編輯HTML網頁程式碼，特別是表格的編輯，所以乾脆索性把TinyMCE做成獨立的布丁版TinyMCE編輯器，讓人需要的時候就直接打開網頁、使用TinyMCE編輯網頁吧。
如果要用試算表資料搭配有格式的文件，批次地產生大量檔案的話，要怎麼呢？Word為主的合併列印方案都只能在單一檔案中產生許多重複範本的內容，不符合我的需求。於是我乾脆重新寫一個能夠以CSV試算表檔案搭配HTML網頁範本產生合併列印效果的線上版合併列印小工具：HTML Mail Merger。它會讀取CSV中的欄位資料以及檔案名稱(filename)欄位，以此批次產生取代以大括弧「{}」夾住的佔位符號和指定檔案名稱的檔案。合併列印再也不用仰賴Word，直接線上就處理完成吧。
(more...)我在之前寫的「想用無限空間沒那麼容易！Google Drive與伺服器整合失敗記錄 」中提到想用ownCloud或google-drive-ocamlfuse來使用Google雲端硬碟教育版的10TB空間，不過後來Google自己推出了Google備份與同步處理 (Backup and Sync from Google)，那我也躍躍欲試地用它來備份電腦中的Zotero檔案囉。然而，Google雲端硬碟教育版似乎是禁止搭配Google備份跟同步處理功能一起使用，雖然軟體依然可以備份電腦上的檔案，但卻沒辦法在Google雲端硬碟網頁上直接看到已經備份的檔案內容。儘管如此，我們依然可以用Google備份與同步處理的「Visit Google Drive on the web」來找到已經備份的資料夾。讓我們看看怎麼做吧。
(more...)最近我試著用Google備份與同步處理 (Backup and Sync from Google)來備份Zotero的時候，Zotero卻發生了「啟動Zotero時發生錯誤。」的問題。幾經檢查之後，才發現是Google備份跟Zotero共同鎖定了「zotero.sqlite-journal」檔案，這造成Zotero無法正常啟動。解決方法是暫停Google備份、刪除zotero.sqlite-journal這樣，這樣就可以正常開啟Zotero了。
(more...)為了考慮更換手機電信業者方案，我最近幾天試著學習很流行的Speedtest來測試網路網速。為了能夠完整記錄測試網速、手機、電信業者與地點等資訊，我整理了一套Speedtest、1 secnote跟Google Photo記錄的方法。後來發現到光測手機速度還不夠，手機熱點分享給筆電時，網路速度會大打折扣，不得不注意這件事情。而在Windows筆電上雖然也可以用Speedtest網頁版來測網路速度，但卻比Android系統上用Speedtest APP測得速度慢了很多。這之間的差異會造成使用者對網路速度感受帶來不小的落差，不得不注意。
(more...)說到資料探勘(data mining)，大部分的應用都是指購物籃分析(market basket analysis)中的關聯規則分析(association rule mining)，也就是Apriori演算法。但傳統的Apriori有著許多限制：難以處理多維度資料、不能處理連續型的數值資料，最重要的是，研究者所感興趣的結果往往難以被探勘出來。後來我找到了另一種關聯規則分析演算法：HotSpot，它不僅可以解決上述Apriori所遭遇的問題，我還用AutoIT額外撰寫了資料整理的程式，使得HotSpot能夠呈現更多我們所關住的結果。
(more...)我之前用R的arulesSequences來做循序樣式探勘，但是在輸入的資料量過大的時候，arulesSequences沒辦法順利運作。這個問題就是循序樣式探勘AprioriAll需要產生候選項目的後遺症。所以我另外找尋了不需要產生候選項目的循序樣式探勘演算法，最後找到的就是以Python實作的PrefixSpan。我參考chuanconggao發佈在GitHub的PrefixSpan-py專案，調整它輸入資料跟輸出結果的方式，把它整理成更容易在Windows環境下使用。所有程式碼都公開在GitHub的保存庫「PrefixSpan-py」上，歡迎有需要做循序樣式探勘的朋友來使用。
(more...)DLLL-CIAS Router是我在開放原始碼的網路路由器Zentyal上所開發的模組。這次我在Zentyal 4.1版本上再度開發了新版本的DLLL-CIAS Router。這個版本是特別為了DLLL-CIAS架構中的網路管理伺服器(Router)、資料儲存伺服器(Storage)、虛擬機器管理伺服器(Virtual Environment)、以及虛擬機器(Virtual Machines)的架構所設計，並且融入知識管理、允許重複網域名稱的功能，最後則是留下完整的安裝方法與自動備份的功能，即使Zentyal再度毀損也能夠輕易地將之還原。這篇記錄著這一版本DLLL-CIAS Router所增加的各種功能。
(more...)網頁瀏覽器的無痕/私密模式是讓使用者在網路上瀏覽的資訊在關閉瀏覽器之後立刻移除的模式。這可以避免一些使用者在瀏覽器登入卻忘記登出，導致下一位使用者可以任意使用別人帳號的窘境。瀏覽器的無痕/私密模式最適合在公用電腦上使用。
不論是Google Chrome、Firefox、Internet Explorer各家瀏覽器都有無痕模式，有些稱之為私密瀏覽模式(InPrivate)，但大多都得讓使用者手動開啟，做法請見「上網記錄不留痕！各家瀏覽器的隱密模式大公開」。不過，其實各家瀏覽器也可以在開啟捷徑時搭配使用參數來直接啟用無痕/私密模式，這篇就整合各家瀏覽器的做法，一併說明如何建立直接開啟無痕/私密模式的專用捷徑。
(more...)本篇是修復Proxmox VE 3/4的集叢(Cluster)中遇到「No route to host (595)」錯誤的解決方法。這個錯誤是因為Proxmox VE伺服器變更了網路設定，但是並沒有完全設定好的關係。以下說明造成錯誤的原因以及解決方法。
(more...)今天使用NetBeans的時候，發現它內建的SFTP上傳檔案功能失效無法運作了。查了一下StackOverflow上的解答，赫然發現是NetBeans使用的JSch函式庫版本過舊，導致無法正常使用。這篇將說明如何更新NetBeans的JSch函式庫，讓NetBeans的SFTP功能能夠正常運作。
(more...)繼上次我做了一個縮小版的Weka動圖之後，因應朋友想看高解析度動圖的需求，我又作了兩個Weka的GIF動圖。總覺得很有趣，擺上來做個記錄。
(more...)最近用R在跑循序樣式勘探的時候，赫然發現程式居然跑到讓整台電腦都當機。仔細檢查之後才發現，原來R在分析的時候會用到大量的暫存空間，而這個暫存空間預設會擺在系統磁碟機當中。要如何將R的暫存目錄設到其他地方呢？網路上有不同的說法，最後我終於找到了一個解決方案，所以撰寫這篇作為記錄。
(more...)繼前一篇使用指令列來操作Weka進行預測之後，這一篇就要用AutoIT來操作Weka進行預測，並以AutoIT將預測結果傳送給其他程式，例如傳送到Google表單中記錄預測結果。
(more...)Weka除了用Explorer來預測未知之外，還能透過指令列直接操作，以便跟其他程式，像是AutoIT的Run()進行整合。這篇就是要示範如何使用指令列來操作Weka進行SMO跟LibSVM兩種分類器的預測。
(more...)最近常常要在Windows桌面環境中設計數位學習教學活動。有時候我們會需要使用全螢幕播放影片、聲音或圖片，甚至需要一張全螢幕的黑幕或白幕當背景。這種時候開放原始碼高度可自訂化的MPV全能播放器就能夠順利派上用場。搭配AutoIT高度自訂腳本，我們就能整合多個不同的Windows應用程式來完成一個豐富的教學活動。
(more...)在Windows中使用Weka來處理非英文語系的資料時會變成亂碼，這是因為它的參數設定預設為Cp1252 (拉丁字母字元編碼)。只要在Weka設定檔RunWeka.ini中修改fileEncoding為utf-8，就能讓Weka順利顯示中文。
(more...)我在掃描的文件會有灰階跟彩色混雜的情況。用彩色模式掃描只有黑白的圖片，事後整理時會佔很大的空間。所以我就繼續「布丁式圖片工具箱」的專案，做了一個「布丁式圖片灰階工具」出來用了。這個「布丁式圖片灰階工具」主要是用AutoIT操作ImageMagick圖片工具來處理圖片，你也可以調整config.ini的設定來更換ImageMagick的指令。
(more...)繼前一篇談完歷程資料的分析方式之後，本篇則是從機器學習的角度切入，藉由分析不同背景使用者的操作歷程序列資料，並將對歷程結果的評價作為輸入資料，以此訓練一套懂得不同特質使用者會如何操作的多層次感知機(MLP)預測模型。接著再以任意一位使用者為背景，用此模型來生成一套評價較好的操作序列路徑。為了避免模形產生的路徑陷入無限迴圈，本篇以增強學習(Reinforcement learning)來懲罰會走到迴圈的序列路徑。
結果最後產生的序列路徑過度受到增強學習的影響，使得使用者的背景因素與歷程評價的影響變得微乎其微。這篇是為了記錄這一連串開發的過程、思維，以及未來的改進方向。這整套系統皆以JavaScript網頁開發，全部原始碼與資料都放在GitHub上，線上展示網址為： https://pulipulichen.github.io/dynamic-generative-path/ 。
(more...)最近我試著應用機器學習到歷程序列資料的分析上，想說在這裡記錄一下進度與想法。不過在講歷程序列資料的分析之前，我想有必要先跟大家回顧一下所謂的歷程資料(activity logs)中的摘要統計與個別序列的差別，以及分析歷程統計資料和歷程序列資料的可能做法，這樣才能說明為什麼我要將機器學習應用在歷程序列資料分析上。這些方法跨了相當多領域，有些技術解釋與名詞選擇不甚嚴謹，望各位先進不吝指教。
(more...)在華文圈，很多人都使用WinRAR來壓縮檔案，電腦裡面也會裝WinRAR軟體。不過，比起RAR格式，我更推薦大家使用都是ZIP格式壓縮。這篇來談談為什麼這樣說的理由。
(more...)最近我在準備教授用Weka作文本分類的時候，就順帶的一直想試試理論上可以作、但一直沒資料的「文本評分」功能。文本分類主要的分類目標(class)是「類別資料」，而文本評分的分類目標就是「連續資料」，也就是分數。於是我就順手把「Reuters-21578 Text Categorization Collection」的新聞分類轉換成數字的評分，並整合StringToWordVector篩選器跟SMOreg分類器以迴歸的方式計算評分。其中StringToWordVector需要經過調整才能讓分類器順利運作，這邊我記錄一下大致上的做法。
(more...)最近買來了中國大陸公司台電科技(Teclast)的仿Micosoft Surface的二合一平板電腦：Tbook 16 Power，買來之後就發現常常有Wifi莫名其妙斷線、MicroSD讀卡機消失等問題。今天研究了一下台電論壇的內容，有人說重設BIOS但沒效，也有人說升級最新驅動2017 05 22後能完美解決，不過我選擇更新了Windows 10的系統韌體，這兩個問題就順利解決了。
(more...)深度學習CNN的熱門讓人再度對「圖片辨識」這塊領域投入許多注意。不過先不論你是很懂數學公式喜歡計算卷積的朋友，還是不求甚解只會call套件來用的朋友，大部分的朋友都必須經過安裝Python環境、tensorflow或keras等套件、一步一步遵照範例程式碼來執行CNN的這段辛苦過程。不過，在這之中應該也有不少朋友，一旦遇到輸入程式碼就十分痛苦到無法繼續作下去，對吧？別擔心，如果只是要作預測圖片、辨識圖片的話，其實來自紐西蘭的Weka也可以做到，還不用寫任何程式喔！
那麼本篇繼利用Image Filter抽取圖片特徵來分類初音彩色圖片之後，接下來這篇就要來挑戰現在CNN主要使用的資料集：MNIST手寫數字辨識問題囉。
(more...)在「從圖片抽取量化特徵：Weka的ImageFilter」這篇的介紹之後，我們知道怎麼利用Weka的Image Filter從圖片中抽取量化特徵，並進一步用於圖片分類上。本篇我們就以Terrence所撰寫的「用tflearn來做深度學習辨識初音」中分辨初音的例子，用Weka來實作看看吧。
(more...)在「不寫程式也能預測未知！用Weka分類模型來預測未知案例」這篇介紹了如何用Weka來進行預測，不過基本上像是Weka這樣的資料探勘工具處理的都是經過量化的數值或分類資料，如果今天遇到的是非結構的資料，像是圖片的話，我們要怎麼處理呢？這就要藉助Weka的「Image Filter」套件，來從非結構化的圖片檔案中抽取量化的特徵資料囉。
(more...)最近很多機會會使用到Weka，在此我想要整理一下Weka的下載位置，以及在Weka中安裝套件的方法，以供其他文章連結使用。
(more...)在進行研究的時候，我們常常會想知道到底是什麼因素影響到依變項(例如社經地位、收入、學習成效)的多寡。為此，我們會收集很多種自變項，像是年齡、收入、打字速度、前測成績、認知風格、認知負荷、學習時間等多種變項資料，想要以此來分析到底是那些自變項對依變項影響程度較大。這時候我們可以採用多變項分析中的多元迴歸分析，以解釋型的多元迴歸分析來看各個自變項的影響程度。以下我僅整理邱皓政老師所著的「統計原理與分析技術：SPSS中文視窗版操作實務詳析」這本書中例子進行介紹，詳細多元迴歸原理請去找書來看吧。
(more...)如果常常要開啟FTP或SFTP站台的話，不妨應用FileZilla Portable的指令列參數中的「--site="0/站台名稱"」來建立捷徑，以後就能快速開啟FTP/SFTP站台囉。
(more...)本學期在教卡方檢定的時候，一併研究起小樣本時SPSS時常使用的另一種卡方檢定「費雪爾正確概率檢定 (Fisher's exact test)」。這是一種用於2x2列聯表、行列的總數不超過20個、有細格期望值小於5的情況下所使用的無母數檢定法，可分析兩組類別資料之間是否有顯著相關。我翻找了許多書籍跟網頁，最後找到Ina Parks S. Howell的統計課講義「Fisher’s Exact Test: An Example」對費雪爾正確概略檢定有最詳細的介紹。內容不多，但還挺好理解的，那我就根據講義的內容，把計算過程整理一下吧。
(more...)
共變數分析是數位學習領域的準實驗研究法很常用到的一種分析方式。共變數分析所處理的資料一般是具有前後測的樣本統計量、對不同組別的後測平均值進行比較的方法。本篇是我在研讀吳明隆老師與涂金堂所著的「SPSS與統計應用分析」第16章「共變數分析」之後，節錄資料及操作方法的筆記。
(more...)
想要追蹤YouTuber的最新影片一定要打開YouTube嗎？其實YouTube也提供了RSS連結的方式供人訂閱影片喔。我參考「How to Get an RSS Feed for a YouTube Channel」這篇的做法，製作了一個「YouTube頻道網址轉RSS連結」，這樣就能在自己喜歡的RSS閱讀器上追蹤YouTuber的最新影片了。
(more...)
作為一位網站管理者，總是希望使用者可以更容易地將網站訊息分享到Facebook上。除了使用AddThis或SumoMe之外，我們也可以直接使用網址來開啟分享到Facebook的功能，還能夠客製化引言、圖片、網址標題、網址介紹、網站標題等資訊，讓使用者分享訊息更為搶眼喔！
我參考「Share to Facebook with custom parameters」這篇的做法，製作了一個「Facebook 分享連結產生器」供大家使用，讓大家也能夠提升社群媒體的整合力吧！
(more...)
算統計一定要SPSS嗎？這可是大大的認知錯誤。除了SPSS之外，Excel、R-Web都有許多統計工具。不僅如此，就連Google試算表的外掛程式也有統計工具XLMiner Analysis ToolPak可以用。今天這篇就要帶大家來用Google試算表計算推論統計中最常用的獨立樣本t檢定，步驟簡單又實用。
(more...)
一般來說，要檢查一個壓縮檔中的檔案時，必須先經過壓縮檔的程式、解壓縮、然後才能看到檔案內容，這樣才能真的打開檔案。可是這樣的過程實在是太煩人了。我用AutoIt跟7-Zip做了Archive File Opener，它可以讓我們直接開啟壓縮檔中所有檔案。我們不是要看壓縮檔，而是要看裡面的內容，不囉嗦直接用吧！
(more...)
Word的合併列印可以讓我們用試算表資料來產生大量格式相同、只有指定欄位不一樣的文件，那純文字的文件檔案能不能這樣做呢？當我們需要將大量的CSV資料搭配特定指令來重複操作的時候，這個CSV文字範本產生機就可以派上用場了。
(more...)
今天來慶賀一件特別的事情：有大大請布丁喝咖啡啦！ (感謝圖片來自於DONATION THANK YOU LETTERS)
(more...)
資料探勘工具Weka提供了多種不同的演算法以及設定演算法的參數，也許大家會在課堂上學到很多種演算法，但到底那一種演算法分類的效果最好呢？這個問題就交給Auto-WEKA來幫你決定吧。
(more...)
雖然Weka有很多用來預測的分類演算法，但真正用Weka來進行預測的教學卻很少。這篇將參考「How to Save Your Machine Learning Model and Make Predictions in Weka」的教學，從比較容易為大家編輯的試算表檔案開始，如何利用Weka的分類功能來為未知案例進行預測。
(more...)
Linux內建了強大的搜尋工具find，可以與grep指令搭配一起使用，以達到檔案內文全文檢索的功能。但是這兩個指令太長了，我每次都要找一下它們是怎麼組在一起。這次索性乾脆寫成一個簡單的find+grep指令產生器，讓我們使用搜尋指令更加便利！
預設產生的指令為：
find "/var/www/" -name "*.php" -exec grep -H "Exception" {} \;
這段指令的意思是：
關於find與grep的介紹，請看[Linux] 搜尋資料夾底下 檔案內部文字這篇。
如果要快速找尋全系統中擁有指定檔案名稱的指令，那麼建議使用locate。例如：
locate log.txt
有時候使用locate之前，要先搭配updatedb建立索引。updatedb指令需要有root權限，用法通常會是：
sudo updatedb; locate log.txt
關於locate的詳細用法，請參與鳥哥的「第六章、Linux 檔案與目錄管理：locate / updatedb」。
(more...)
Comments