非結構化資料分析：文本分類 / Unstructured Text Analytics: Text Classification

10月 17, 2017 Course , Presentation , Series/Big Data Analysis Course , Software/GoogleDoc , Software/Weka , Work/Widget 7 Comments Edit Copy Download

這是巨量資料探勘與統計應用課程的投影片「非結構化資料分析：文本分類」。本單元是屬於系列課程中的「資料預測級」中最後一個單元。處理資料類型是為非結構化的資料進行分類，也就是使用類別資料。這邊使用了Jieba斷詞來作文本語義分析，然後使用樸素貝氏多項式文本分類器(NaiveBayesMultinomialText)來為文本進行分類，最後還用特徵篩選(Select attributes)找出關鍵字。到底圖書館員分類編目的核心技能會不會被這篇所講的自動化文本分類機器所取代呢？看完這個單元你就可以知道結果了。本單元使用了二個我自製的工具來搭配Weka實作文本分類，單元內包含了四份實作學習單跟一份測驗，供同學邊看邊練習。這個單元包含了四個實作學習單跟一份測驗，供同學邊看邊練習。

單元大綱 / Outline

1. 處理非結構化資料：特徵量化
2. 實作：文本語義分析
3. 實作：文本分類
4. 找出分類關鍵字：特徵篩選
5. 進階的文字向量：TF-IDF
6. 更進階的文本分類
7. 結語：圖書館員的危機？
8. 課堂練習：一般留言還是垃圾留言？

投影片 / Slide

• 教學投影片： Google Presentation
• 教學投影片其他格式： Power Point、 PDF、 OpenDocument Presnetation

我以Google簡報的檔案匯出成PPTX，再備份到以下位置：

• SlideShare 、 GitHub 、 OneDrive 、 Box 、 Mega 、 MediaFire 、 Google Drive

學習單 / Worksheets

本單元包含了以下的學習單，請搭配課程投影片一起練習吧。

• W16-a. 文本語義分析
• W16-b 文本分類
• W16-c. 關鍵字篩選
• W16-d. 留言分類

測驗 / Examine

本單元整理了一份測驗，供同學驗證所學：

• Q7. 文本分類：這是唐詩還是新詩？

資料集 / Dataset

本單元用到了以下資料：

• 是籃球還是地球？：這份資料集取自於袁梅宇所著的「王者歸來: WEKA機器學習與大數據聖經」中的例子，這是從維基百科中取籃球與Google地球介紹的句子組合而成。這個單元的規劃主要也是受到該書中「文字分類」一節的啟發。我為了教課之便，又增加了些許籃球與Google地球的句子進去資料集中。
• 一般留言還是垃圾留言？：這份資料取自於本blog「布丁布丁吃什麼？」的留言資料。Blogger內建了相當優良的垃圾留言過濾器，被視為垃圾留言的話，就不會顯示在blog中。我從一般使用者留言跟垃圾留言中取得一些例子，組合成這個資料集。
• 是唐詩還是新詩？：我從唐詩三百首網站跟小品欣賞的新詩感覺中取了一些例子組合成這個資料集。就各方面來說，新詩跟唐詩用於文本分類、探勘都是蠻有趣的例子。

線上操作平臺 / Online Workplace

本單元的實作需要使用部分雲端服務、我自己開發的工具，以及安裝在本機端的Weka搭配使用。以下的雲端服務建議使用Google Chrome瀏覽器開啟：

• 資料來源
• Google試算表 (Google雲端硬碟)
• 布丁開發的雲端工具
• 試算表轉ARFF
• ARFF轉CSV
• Weka
• Weka下載 (本單元不需要安裝套件)
• 如何在Weka中顯示中文：調整檔案編碼為UTF8

文本分類工具 / Text Classification Tools

這次文本分類也會使用到兩個工具，它們必須搭配Weka一起使用。所有的程式碼都已經放在GitHub保存庫，屬於線上中文斷詞工具：Jieba-JS的一部分應用。GitHub網址如下：

• https://github.com/pulipulichen/jieba-js

試算表轉ARFF / Spreadsheet to ARFF

• 開啟新視窗：試算表轉ARFF

ARFF轉CSV / ARFF to CSV

• 開啟新視窗：ARFF轉CSV

小結 / In closing

非結構資料的文本分類會很難嗎？如果你能夠回答上面的問題，那你就已經抓到了文本分類、甚至是所有非結構資料處理的精髓了。

這個單元的內容所教的文本分類可以用於相當多地方：

• 顧客意見分類：如果公司時常收到顧客的各種抱怨，先使用文本分類來分類顧客意見，並藉此找出對應的處理方法，這可以加快處理客訴的流程。
• 學生作文評語：請文本分類先將學生的作文看過一次，並預先挑好要給學生的評語，這可能也是一個不錯的應用。
• 新聞分類：記者寫了一篇新聞，這到底該分成娛樂類還是政治類呢？用文本分類協助主編作決策吧。
• 情緒分析：社群媒體上的一篇短文到底是正面情緒還是負面情緒？這是現在文本分析最流行的應用。
• 決定圖書分類號：圖書館員的核心技能分類編目也可以用文本分類來決定。事實上，圖書分類一直是文本分類研究中許多人爭相挑戰的一項議題呢。

附帶一提，如果我們這次不是要將文本分成不同「類別」，而是要給予分數這種「連續」資料，那麼這就是文本自動評分的領域。請看「AI解籤不用1秒，廟公要失業了嗎？Weka的中文自動評分：預測詩籤的等第」這篇的做法。

圖書館員要失業了嗎？ / Librarians' crisis ?

繼熊貓症候群之後，面對文本分類技術的成熟，我想應該很多人應該會開始擔心，這是否會對圖書館員的核心技能「分類編目」帶來威脅呢？

就我個人來看，文本分類並沒辦法取代專業的圖書館員，這是可以肯定的事情。如果仔細看過前一個單元的分類與預測跟這個單元的內容，你應該可以發現到資料探勘的分類其實有很多限制。最大的限制在於機器本身並無法解釋資料、無法歸納與發掘資料新的特性，而且分類的有效性幾乎有九成取決於一開始輸入的資料。換句話說，如果沒有圖書館員提供正確與精準的分類資料，文本分類就沒有任何意義。更何況，圖書館廣納百川資訊，蘊含五花八門知識的書籍與論文不斷產生，機器很難動態地學習新知識並將其歸類，只有受過專業訓練的圖書館員才能辦到。

看到這兒，身為圖書館員的你是不是很開心只想把文本探勘技術一腳踢開，抱著圖書館員的驕傲開心地去睡了呢？

不！事實上，文本分類並非圖書館員的敵手，而是圖書館員分類編目的幫手！想像一下，如果在作分類編目之前，熟悉文本分類技術的你先把檯面上待編的50本書籍全部用文本分類預測個可能的分類，以此作為分類的參考依據，然後依照Entropy預測亂度結果來決定是不是要認真編這本書，這樣不就能夠省下大量的編目時間，讓你的編目效率突飛猛進嗎？這可不是機器跟人類的對抗，而是機器輔助人類的合作呢！

不過，如果有一天，當圖書館員完全放棄自己的專業，將分類號的判斷全部來自抄錄編目或交給文本分類機器，那我得說聲抱歉，這樣子的圖書館員真的會被文本分類取代。

那麼，我們到底該怎麽面對像是文本分類這樣子的人工智慧AI呢？李開復在今年臺大畢業典禮的致辭中歸納了相當發人深省的看法。AI能夠在既有的領域、已知的知識上快速地成為僬僬者，小到搜尋文字找的比人類自己看還快、大到AlphaGo下棋大勝人類棋手。它就像是魔法棒一樣地加快和優化了整個流程。我們應該要掌握AI這隻魔法棒，而在這之後，就如李開復所說：

「有了AI這支魔法棒，你有責任去解決困難的問題。不要浪費時間做那些機器很快就能勝過人類的事。不要接受沒有挑戰的工作，對自己設定積極而嚴格的學習目標，選定某個具體領域勤下苦工，成為AI無法取代的人才。」(李開復，2017)

跟大家共勉之！

本單元所介紹的文本分類就到此為止，這也是這一系列巨量資料探看與統計應用課程的最後一個單元了。不知道看到這邊的你，對於文本分類對圖書館員帶來的衝擊有什麼看法呢？如果你也能夠掌握文本分類這個魔法棒的話，你會想要拿來作什麼事情呢？歡迎在下面的留言處與我分享你的看法，或是在AddThis分享工具按讚分享我的文章到Facebook等社群媒體吧！很感謝你的耐心閱讀，讓我們下次見囉！