如何整理BBS的文字資料？文字檔案斷行連結工具 / Broken Lines Text Formatter
這是我為了文本探勘所撰寫的一個小工具。有些文字會在固定的寬度斷行，就像是BBS的畫面一樣。這樣文字探勘時會對句子、斷詞造成誤判。因此我寫了一個文字檔案斷行連結工具來將文字斷行的地方重新連接成一行。整理後的文本就比較容易進行後續的分析了。
文字檔案斷行連結工具 / Broken Lines Text Formatter
整理案例 / Example
原本的文字檔案如下，文字會在固定的寬度斷行：
第一回 甄士隱夢幻識通靈 賈雨村風塵懷閨秀
此開卷第一回也。作者自云因曾歷過一翻夢幻之後，故將真事隱去
，而借「通靈」之說撰此「石頭記」一書也；故曰「甄士隱」云云。
但書中所記何事何人？自又云：「今風塵碌碌，一事無成，忽念及當
日所有之女子，一一細考較去，覺其行止見識皆出于我之上，何我
堂堂鬚眉，誠不若彼裙釵；我實愧則有餘，悔亦無益，真大無可如
何之日也！當此日，欲將已往所賴天恩祖德，錦衣紈褲之時，飫甘
厭肥之日，背父兄教育之恩，負師友規談之德，以致今日一技無成，
半生潦倒之罪，編述一集，以告天下；知我之罪固不免，然閨閣
中本自歷歷有人，萬不可因我之不肖，自護其短，一併使其泯滅也。
雖今日茅椽蓬牖，瓦灶繩床，並不足妨我襟懷；況那晨風夕月階柳庭
花，更覺得潤人筆墨；我雖不學無文，又何妨用假語村言，敷衍
出一段故事來，亦可使閨閣昭傳，復可悅世之目，破人愁悶，不亦宜
乎。故曰「賈雨村」云云。更於篇中凡用「夢」用「幻」等字，是
提醒閱者眼目，亦是此書本旨 。
整理過後的文字如下，斷行的文字會被重新連回到同一行：
第一回 甄士隱夢幻識通靈 賈雨村風塵懷閨秀
此開卷第一回也。作者自云因曾歷過一翻夢幻之後，故將真事隱去，而借「通靈」之說撰此「石頭記」一書也；故曰「甄士隱」云云。但書中所記何事何人？自又云：「今風塵碌碌，一事無成，忽念及當日所有之女子，一一細考較去，覺其行止見識皆出于我之上，何我堂堂鬚眉，誠不若彼裙釵；我實愧則有餘，悔亦無益，真大無可如何之日也！當此日，欲將已往所賴天恩祖德，錦衣紈褲之時，飫甘厭肥之日，背父兄教育之恩，負師友規談之德，以致今日一技無成，半生潦倒之罪，編述一集，以告天下；知我之罪固不免，然閨閣中本自歷歷有人，萬不可因我之不肖，自護其短，一併使其泯滅也。雖今日茅椽蓬牖，瓦灶繩床，並不足妨我襟懷；況那晨風夕月階柳庭花，更覺得潤人筆墨；我雖不學無文，又何妨用假語村言，敷衍出一段故事來，亦可使閨閣昭傳，復可悅世之目，破人愁悶，不亦宜乎。故曰「賈雨村」云云。更於篇中凡用「夢」用「幻」等字，是提醒閱者眼目，亦是此書本旨 。這樣子就比較容易進行其他文字探勘的處理了！
