我們要如何在大量文本當中，快速找出談論內容與眾不同、別有見地的文本呢？字數長短可能會被灌水，從字詞內容著手，也許是個合理的開始。本篇將應用資料探勘中異常偵測(anomaly detection)常見的演算法：局部異數因素(Local Outlier Factor, LOF)，在Weka中找出用詞最為與眾不同的文本。
(more...)
在以文字撰寫的大量文件中發掘這些文件所共同描述的主題，這類型的技術稱之爲「主題塑模」(Topic Modeling)，而資料探勘中的分群就是實作主題塑模的其中一種做法。本篇就來說明如何用開放原始碼資料探勘工具Weka中的層疊式K平均法分群演算法來找出文件中的主題。
(more...)
要對非結構化的文字資料進行分析，第一件事情是對文字資料抽取結構化的量化數值特徵。除了用「文字探勘分析器」簡單分析字數、句數之外，最常見的分析方式就是斷詞和詞性分析，例如線上中文斷詞工具：Jieba-JS。但Jieba-JS並不能發揮Jieba斷詞器的全部功能，所以我以Python撰寫了簡單易用的斷詞和詞性分析工具Python-Jieba，讓大家不用撰寫程式碼，只要簡單的配置，就能進行中文斷詞和詞性分析，還能夠同時分析中英混雜文本中英文的詞性。
Python-Jieba不只可搭配「非結構化資料分析：文本分類」或「Weka的中文自動評分」等機器學習來使用，更可以用在質性研究的內容分析、文本分析或敘說分析上，先用Python-Jieba找出特定詞性的文本內容來分析。
(more...)(圖片來源：e-Tutorial World)
文本分析時常會用到詞性(Part of Speech，簡稱POS)作為判斷依據。現在流行的中文斷詞器結巴(Jieba)具備詞性判斷的功能，這篇將整理56種詞性標記代號的意義，並加上標點符號的自訂詞典以補足結巴無法辨識標點符號的問題。此外，結巴僅會將英文詞性標示為「eng」，這難以用在中英混雜的文本中。因此我又另外找了Node.js上的pos函式庫，這是基於Mark Waston的FastTag詞性標註演算法，能夠為英文字分辨出45種不同的詞性。
(more...)文本探勘的研究要怎麼進行呢？許多文本分析和書目計量學的研究都使用EndNote跟Excel來整理資料，但其實使用免費的Zotero跟資料庫來做書目計量才是最佳的選擇。我想在這篇簡短聊一下我在2016年底所進行的文本探勘研究的處理方式，也許未來還會有機會做類似的研究吧？
(more...)這個PHP KWIC Database是我在進行文本分析研究中的一個產物。文內關鍵字索引(Key Word In Context)的做法是將檢索的關鍵字擺在查詢結果中間，前後呈現該關鍵字的前後文。這不僅只是拿來搜尋具有該關鍵字的文本，還能夠進一步知道該關鍵字在這些文本中的用法。在許多人文研究中，具備引得查詢資料庫是非常重要的研究工具，許多語料庫(corpus)都有提供。可惜的是，現在許多全文檢索系統都沒有實作引得，包括Apache Solr。所以我在2016年年初的研究中順手寫了這個PHP KWIC Database，並將之整理成框架，讓大家能夠簡單地使用Excel整理文本資料後，並利用Convert to SQLite Online將Excel檔案轉換成SQLite資料庫，就能夠並使用PHP KWIC Database來進行檢索與分析。
(more...)這是我為了文字探勘所做的小工具。一般來說文字資料是一種非結構的質性資料，但其實還是可以透過一些簡單的計算來得知它的量化數值，這樣就能讓不同的文字資料之間的比較有了客觀的基準。這個文字探勘分析器提供了基本的敘述統計指標計算功能，包括文字長度、不同字詞的數量、文字變化程度的熵(entropy)跟辛普森指數(Simposon's Index)，還有以句子、對話句為單位的分析，最後還能將N字詞的頻率分析結果繪製成文字雲。
(more...)這是我為了文本探勘所撰寫的一個小工具。有些文字會在固定的寬度斷行，就像是BBS的畫面一樣。這樣文字探勘時會對句子、斷詞造成誤判。因此我寫了一個文字檔案斷行連結工具來將文字斷行的地方重新連接成一行。整理後的文本就比較容易進行後續的分析了。
(more...)有時候文本探勘會需要比較文章前、中、後各個不同位置的寫作風格是否有所差異，所以我寫了一個純文字線上的分割器，可以將一篇很長的純文字檔案切割成多個小的文字檔。這個做法跟分割壓縮檔不太一樣，分割之後的個別檔案都是獨立的文字檔喔。
(more...)
Comments