這是伴隨在行為分析之時間序列分析的報告中，延伸細談時間序列分析的部分。投影片的內容是參考了林惠玲、陳正倉老師所著的「應用統計學」以及其他時間序列分析的相關書籍綜合而成。大部分時間序列分析的介紹仍是環繞著ARIMA技術的模型，後來我用Weka實作的多變項時間序列預測則採用了機器學習的另類做法。
(more...)這是閱讀Bakeman兩本書中行為序列分析與時間相關的兩個章節「9. Analyzing time sequences」跟「11. Time-window and log-linear sequential analysis」的簡報內容。Bakeman將事件編碼的類別資料轉換成比率數字的連續變項，再結合了時間序列分析(Time-series analysis)技術進行處理。在另外一本書則是介紹高階列聯表分析技術線性對數模型(Log-Linear Analysis)，可以分析超越雙事件到N事件的序列檢定。
(more...)這是我為了文字探勘所做的小工具。一般來說文字資料是一種非結構的質性資料，但其實還是可以透過一些簡單的計算來得知它的量化數值，這樣就能讓不同的文字資料之間的比較有了客觀的基準。這個文字探勘分析器提供了基本的敘述統計指標計算功能，包括文字長度、不同字詞的數量、文字變化程度的熵(entropy)跟辛普森指數(Simposon's Index)，還有以句子、對話句為單位的分析，最後還能將N字詞的頻率分析結果繪製成文字雲。
(more...)這是巨量資料探勘與統計應用課程中行為順序檢定：滯後序列分析與分類與預測：貝氏網路的進階應用。滯後序列分析只能分析前後兩個行為之間的轉變，如果我們想要預測更多步之後的行為，那我們就需要藉助貝氏網路的預測和推理能力。我們可以決定要為幾步內的行為進行建模，如果是兩步之間的模型，稱之為「二時段貝氏網路」(Two-Timeslice Bayesian Network，2TBN)。而這篇文章將以「四時段貝氏網路」來為幼兒平行遊戲事件序列資料，建立能夠預測和解釋幼兒行為的貝氏網路模型。
(more...)這是巨量資料探勘與統計應用課程的投影片「巨量資料探勘與統計應用課程目錄」，也包含了整個課程一開始的導論。本課程的主要核心技術是「資料分析」，而資料分析則含括了「資料探勘」與「統計」這兩種領域，並且適用於處理龐大的「巨量資料」，因此本課程就命名為「巨量資料探勘與統計應用」。為了整理到本blog，我將本系列課程調整為11個單元，由淺入深分成「課程導論與資料處理」、「資料敘述級」、「資料檢定級」、「資料預測級」四大階段，每個單元內都包含該單元要處理的問題與適用資料類型、核心技術。由於當初是以大學生為教學對象，因此本系列課程主要著重在訓練同學擁有實作的即戰力，每個單元都是以二到四個實作學習單組成，輔以少量的公式解說。
這份投影片是巨量資料探勘與統計應用課程的整體介紹，文章也會列出每一個單元的連結。最後我會談談我對這門課程的看法。
(more...)這篇「超簡單！文本機器分類入門」是我在2017年3月於政大圖檔所資料探勘課程中的演講內容，之後演化成後來我在巨量資料探勘與統計應用課程中「非結構化資料分析：文本分類」單元的內容。如果想要看比較完整的文本分類介紹，請看「非結構化資料分析：文本分類」這篇。不過想要看獨立的文本分類課程的話，那也可以從這篇開始看起喔。
(more...)這是巨量資料探勘與統計應用課程的投影片「非結構化資料分析：文本分類」。本單元是屬於系列課程中的「資料預測級」中最後一個單元。處理資料類型是為非結構化的資料進行分類，也就是使用類別資料。這邊使用了Jieba斷詞來作文本語義分析，然後使用樸素貝氏多項式文本分類器(NaiveBayesMultinomialText)來為文本進行分類，最後還用特徵篩選(Select attributes)找出關鍵字。到底圖書館員分類編目的核心技能會不會被這篇所講的自動化文本分類機器所取代呢？看完這個單元你就可以知道結果了。本單元使用了二個我自製的工具來搭配Weka實作文本分類，單元內包含了四份實作學習單跟一份測驗，供同學邊看邊練習。這個單元包含了四個實作學習單跟一份測驗，供同學邊看邊練習。
(more...)
Comments