彙整中文與英文的詞性標註代號：結巴斷詞器與FastTag / Identify the Part of Speech in Chinese and English

11月 12, 2017 程式語言/JavaScript , JavaScript , Programming/JavaScript , Research/Text Mining 9 Comments Edit Copy Download

(圖片來源：e-Tutorial World)

文本分析時常會用到詞性(Part of Speech，簡稱POS)作為判斷依據。現在流行的中文斷詞器結巴(Jieba)具備詞性判斷的功能，這篇將整理56種詞性標記代號的意義，並加上標點符號的自訂詞典以補足結巴無法辨識標點符號的問題。此外，結巴僅會將英文詞性標示為「eng」，這難以用在中英混雜的文本中。因此我又另外找了Node.js上的pos函式庫，這是基於Mark Waston的FastTag詞性標註演算法，能夠為英文字分辨出45種不同的詞性。

中文斷詞器：結巴 / Chinese word Segmentation: Jieba

結巴是目前中文界最流行的斷詞演算法。原本是fxsjy在Python上開發的演算法，但現在廣泛用於各種程式語言，包括Node.js上的NodeJieba或JavaScript上的Jieba-JS，可參考我這篇線上中文斷詞工具：Jieba-JS。

雖然結巴原作者使用簡體中文，但也支持正體(繁體)中文的斷詞處理，也能夠使用自定義詞典與停用字詞典，而且是自由的MIT授權。演算法上實作了基於前綴詞典所帶來的高效率詞圖掃描，能夠產生句子中漢字所有可能成詞情況所構成的有向無環圖(DAG)。接著採用動態規劃查找最大機率的路徑，找出基於詞頻的最大斷詞組合。對於未出現在詞典上的未知詞，結巴踩用了基於漢字成詞能力的HMM模型，並使用Viterbi演算法來辨識。

結巴斷詞器提供了四種模式：

• 精確模式：精準地斷詞，是基礎的斷詞模式。
  輸入「我來到北京清華大學」，產生「我, 來到, 北京, 清華大學」。
• 新詞辨識：僅找出詞典沒有的詞彙。
  輸入「他來到了網易杭研大廈」，產生「他, 來到, 了, 網易, 杭研, 大廈」。
• 搜尋引擎模式：找出所有可能的組合，便於搜尋引擎建立關鍵字，也適用於文本分析。(注意底線的部分)
  輸入「小明碩士畢業於中國科學院計算所，後在日本東京大學深造」，產生「小明, 碩士, 畢業, 於, 中國, 科學, 學院, 科學院, 中國科學院, 計算, 計算所, 後, 在, 日本, 京都, 大學, 日本京都大學, 深造」。
• 全模式：混合以上三種做法的模式。
  輸入「我來到北京清華大學」，產生「我, 來到, 北京, 清華, 清華大學, 華大, 大學」。

值得注意的是，在正體(繁體)中文的使用情境下，請使用有正體(繁體)中文詞典的dict.txt.big。Python切換詞典用法請看如何使用 JIEBA 結巴中文分詞程式。

結巴的詞性標註 / Ports of Speech in Jieba

結巴提供了詞性標註，而詞性標註方法與ICTCLAS漢語詞性標註集兼容。但結巴的詞性標註多達56種，比ICTCLAS的39種更多。我們有必要好好來看看這些詞性到底是什麼。以下詞性代碼中有標註「*」的，表示是結巴特有的詞性標註，不在ICTCLAS的範圍內。

然而結巴的詞性標註實在太多，有時候反而不好應用。於是我又參考現代漢語詞性所定義的12種：名詞(n)、動詞(v)、形容詞(adj)、數詞(m)、量詞(q)、代詞(pron)、副詞(adv)、介詞(prep)、連詞(conj)、助詞(u)、嘆詞(int)、擬聲詞(o)，嘗試將結巴的56種詞性標註對應到主要的12種。在文本分析時，比較重要的可能會是名詞(n)、動詞(v)、形容詞(adj)這三種詞性。附帶一提，許多詞性都是屬於語素(Morpheme)，這是只最小的語法單位，是最小的語音語義結合體。

以下是我整理結巴詞性標註的表格檔案：

• 結巴斷詞器的詞性標註分析

許多詞性的對應是我個人的判斷，不一定準確。請多多指教。

其中值得注意的是，結巴預設會將標點符號標示為「x」，而不是「w」。而且英文會被標示為「eng」。所以我們得要為此想其他辦法。標點符號的部分，我們可以用結巴自訂詞典的功能來擴充。至於被標示為「eng」的英文，我打算再轉交給FastTag來處理。

標點符號的自訂詞典 / User dictionary for punctuations

因為結巴並沒有為標點符號的詞性標註「w」加入任何設定，所以這個部分我們得要自行設定才行。在文本分析的時候，比較常會用到的有對話分析的括弧，以及表示情感跟不確定性的驚歎號與問號 (請參考文本探勘分析器這篇)，因此我們有必要把這些符號區隔開來。

標點符號的部分參考了教育部《重訂標點符號手冊》修訂版跟The Punctuation Guide。我依照結巴自訂詞典的格式，做了一個標點符號的詞性字典供大家參考，請從下面網址下載：

• userdict.utf8

內容如下：

. 99999 w-PERIOD

。 99999 w-PERIOD

, 99999 w-COMMA

， 99999 w-COMMA

、 99999 w-BACK-SLOPING-COMMA

; 99999 w-PARENTHESES-SEMICOLON

； 99999 w-PARENTHESES-SEMICOLON

: 99999 w-PARENTHESES-COLON

： 99999 w-PARENTHESES-COLON

“ 99999 w-PARENTHESES-QUOTATION-LEFT

” 99999 w-PARENTHESES-QUOTATION-RIGHT

「 99999 w-PARENTHESES-QUOTATION-LEFT

」 99999 w-PARENTHESES-QUOTATION-RIGHT

『 99999 w-PARENTHESES-QUOTATION-LEFT

』 99999 w-PARENTHESES-QUOTATION-RIGHT

[ 99999 w-PARENTHESES-SQUARE-BRACKET-LEFT

] 99999 w-PARENTHESES-SQUARE-BRACKET-RIGHT

{ 99999 w-PARENTHESES-BRACE-LEFT

} 99999 w-PARENTHESES-BRACE-RIGHT

( 99999 w-PARENTHESES-LEFT

) 99999 w-PARENTHESES-RIGHT

（ 99999 w-PARENTHESES-LEFT

） 99999 w-PARENTHESES-RIGHT

? 99999 w-QUESTION

？ 99999 w-QUESTION

! 99999 w-EXCTAMATION

！ 99999 w-EXCTAMATION

- 99999 w-DASH

— 99999 w-DASH

～ 99999 w-DASH

—— 99999 w-DASH

… 99999 w-ELLIPSIS

…… 99999 w-ELLIPSIS

﹏﹏ 99999 w-GUILLEMET

《 99999 w-GUILLEMET-LEFT

》 99999 w-GUILLEMET-RIGHT

〈 99999 w-GUILLEMET-LEFT

〉 99999 w-GUILLEMET-RIGHT

＿ 99999 w-GUILLEMET-RIGHT

． 99999 w-SEPARATION-DOT

/ 99999 w-SLASH

\ 99999 w-FORWARD-SLASH

許多文本分析的教學都會直接過濾標點符號。但如果我們分析的是字數較少的短文，像是社群媒體的留言、討論區的內容。那標點符號就會是分析的重點之一。舉例來說，光是分析討論區中誰用問號最多，就能找出討論區中的主要發問人。

英文的詞性標註：FastTag / Ports of Speech in English: FastTag

FastTag是Mark Watson開發的詞性標註工具，詞性是來自於基於Eric Brill彙整的英文字典與規則。Percy Wegmann把FastTag移植到Node.js，成為pos-js套件。雖然Wastson最新的FastTag v2有59種詞性標註，但移植後的pos-js只有45種。

儘管如此，pos-js的45種詞性也還是太多了。我參考了維基百科的Part of speech條目中的英文的詞性定義跟WordsGo的英文八大詞性說明，再將英文詞性分成9種主要詞性分類，包括名詞(noun, n.)、動詞(verb, v.)、形容詞(adjective, adj.)、副詞(adverb, adv.)、代名詞(pronoun, pron.)、介系詞(preposition, prep.)、連接詞(conjunction, conj.)、感嘆詞(interjection, int.)、冠詞(article, determiner)。不在主要詞性分類中的詞性，我加上括號來區別。跟中文一樣的，在文本分析上，名詞(n)、動詞(v)、形容詞(adj)這三種也可能會是比較重要的詞性。

以下是我整理pos-js詞性標註的表格檔案：

• pos-js tags

讓我們來看看移植FastTag的pos-js可以辨別那些詞性吧：

小結 / Conclusion

我在做碩士論文時就有用中研院的CKIP來做詞性分析。但是因為外部呼叫CKIP速度過慢，而且無法自訂詞彙，跟可自行建置的結巴斷詞器相比，方便性落了一大截。

後來在使用結巴斷詞器的時候，赫然發現許多詞性代號都無法讓人一目瞭然。接著又發現結巴把外文詞彙通通只被標示為「eng」，而且標點符號沒有標示詞性。這些種種讓我索性乾脆捲起袖子，好好地把結巴斷詞器的詞性、pos-js的詞性、標點符號全部整理一下，就完成這一篇了。

不過，光是整理完詞性標註，詞性辨識的工作還不算完成。現在的問題是要如何把結巴斷詞器的搜尋引擎模式、詞性標註模式跟pos-js的詞性標註整合在一起。我還得花點時間來想想怎麼把它們都在一起，這篇就先到此為止吧。

這篇對中文與英文詞性標註的整理就到這裡為止。當然，我並不是語言學家，對於詞性的判斷上可能會有錯誤。歡迎大家在下面留言處提出指教，我會虛心檢討。如果你也跟我一樣對結巴的詞性代號煩惱已久，那這篇可能可以對你有些幫助。如果你覺得我整理的不錯的話，請幫我在AddThis分享工具按讚、將這篇分享到Facebook等社群媒體吧！感謝你的耐心閱讀，讓我們下一篇見。