ALOHA~~我是就算為了一個小小的合併檔案工作也不想寫程式的布丁。
我們很多時候需要將大量的純文字檔案合併成一個檔案，並且希望在各個檔案之間加上換行。單純將純文字檔案合併成一個檔案的做法很多，但是要能夠正確識別中文編碼，還要在合併的檔案之間加上斷行，那就不太容易了。
令人意外的是，Windows上好用的純文字編輯器Notepad++，它的Combine外掛居然有合併多個純文字檔案的功能。讓我們來看看怎麽操作吧。
(more...)我們所開發的網站應用大多時候都是預設給多人同時上線使用，但是你要怎麼確認這個網站能夠容納多少人同時上線呢？網站負載壓力測試(web performance testing, web speed testing, load testing)就是模擬許多使用者同時上線存取網站內容，並記錄網站的反應時間以及超出負荷而當機的上限。
網站負載壓力測試工具中較為知名的跨平台工具是Apache JMeter，但它的設定較為複雜，操作門檻高。所以我用Electron另外開發了一個簡單版的網站負載測試器Electron Web Speed Test ，希望讓大家更容易測試自己網站的負載容量。
(more...)之前我介紹用HTML撰寫的混合應用程式框架點閱數意外的很高(本社比)，藉著2018年底停車場的薑黃喵被好心人收養之際，我用混合應用程式框架開發了「薑黃喵討摸摸」的APP，可以在網頁開啟、Windows直接執行、也已經在Google Play上架，可在Android上安裝。這篇就記錄一下這個「薑黃喵討摸摸」APP吧。
(more...)在上次「閒聊智慧型手機上玩手遊用的鍵盤滑鼠遊戲控制器」的最後，我提到Android似乎逐漸朝向「行動辦公室」的方向發展。但就選取文字和圖片的這種基本操作來看，其實Android離真正的生產力應用似乎還有一段距離。這篇就讓我來說明一下為什麼會是如此吧。
(more...)我之前介紹過如何將4張投影片或8張投影片濃縮在一頁中，製作成方便列印的講義。這次我們要從Google簡報開始，教大家如何製作2張投影片印在同一頁中，並且為講義加上頁碼喔！
(more...)圖書資訊與檔案學領域中時常使用XML作為交換後設資料的格式。然而，由於早期系統大多為大五碼Big5編碼，並不能夠直接相容於現在的主流使用的萬國碼Unicode編碼，特別是比較常用的UTF-8編碼。如果要將XML這種純文字格式的檔案從Big5轉換成UTF-8的話，除了拜託程式設計師撰寫轉碼工具之外，我們也可以用Windows上現成的免安裝軟體ConvertZ跟Notepad++Portable來完成這件事情。讓我們來看看怎麽操作吧。
(more...)我在「不拆書的自烹PDF電子書：免費軟體Scan Tailor的方案」中介紹了以Scan Tailor、XnView MP來整理掃描的電子檔，然後用一些免費工具來製作PDF檔案。但是如果你電腦裡面有安裝Acrobat Pro的話(不是免費的Adobe Reader喔)，那不妨也可使用以下方法來製作PDF電子書喔。這篇將接續「不拆書的自烹PDF電子書：免費軟體Scan Tailor的方案」中Phase 3之後，後續改以Adboe Acrobat Pro DC為例介紹如何操作。
(more...)雖然PDF檔案是標準格式，但是隨著PDF檔案產生的方法不同、文字辨識OCR工具帶來的字型與編碼問題，很多早期的PDF檔案雖然可以選取、複製文件上的文字，但複製出來的文字卻會是亂碼。我參考了Grant Robertson的建議，將PDF輸出到XPS印表機，再將XPS輸出成PDF，這樣就可以在PDF上進行OCR辨識，最後就能得到正確辨識的檔案了。以下我就來整理這一套做法，供大家參考參考。
(more...)在數位化的時代裡面，現在很多文件都是以PDF的方式保存。以往數位典藏盛行的時代，許多PDF並非是原生的電子文件，而大多是由列印或影音下來的紙本掃描而成。而掃描的文本最常見的問題就是偏斜、不正，這會造成電腦與平板閱讀的時候有很多問題。這篇我介紹使用Adobe Acrobat Pro來將掃描文件以OCR技術使之變成可選取的文字，再以編輯EDIT功能將歪斜的文字校正至垂直。做法很簡單，我想應該很多人會需要這樣的技術，在這裡整理一下這整套做法。
(more...)在進行文字處理的時候我會建議盡量把純文字檔案轉換成萬國碼Unicode，也就是UTF-8。而轉換編碼最簡單方式就是使用Notepad++來處理啦。以下就介紹如何使用Notepad++把非UTF-8編碼的純文字檔案轉換成UTF-8編碼。
(more...)Windows的遠端桌面連線常常因為音效的問題而當機。如果你在遠端桌面連線的時候也當機了，不妨關掉遠端音效、或是檢查你的音效卡是否正常運作吧。
(more...)學習英文單字時，雖然各家都有各家自己的單字複習機制，但我個人比較喜歡使用Quizlet這套單字卡學習系統。這篇是我為了將有道詞典的單字本「有道單詞本」匯出並匯入到Quizlet，撰寫了一個小轉換程式來做這件事情，並將作法記錄如下。
(more...)WebDAV客戶端中比較知名的是NetDrive。雖然它功能強大，但是那是一個收費軟體。所以我找到另一個免費的WebDAV客戶端軟體：AnyClient。它沒有NetDrive這樣可以掛載網路硬碟，而只有提供像是類似FTP客戶端一樣的功能。不過它能夠讓我們免費存取WebDAV伺服器，這樣就夠了。
(more...)本文將教大家如何關閉TeamViewer的「快速連線按鈕」(Quick Connect Button)。因為這個功能埋得太深入了，讓我不得不憤而寫一篇圖文介紹來教大家怎麼關閉。
TeamViewer是一個知名的跨平臺遠端桌面免費工具，我在之前也有介紹過它。然而TeamViewer不甘成為簡單的工具，在多年的改版之後加入了我們很多用不到的功能，其中一個功能叫做「快速連線按鈕」 (Quick Connect Button)。
雖然寫這篇的時候TeamVeiwer已經發展到11.0.53.254版，但其實TeamVeiwer早就在2009年的4.1版就已經加入了「快速連線按鈕」的這個功能。
快速連線按鈕是會在每一個視窗的右上角加上一個左右箭頭 「<->」
但是老實說，通常我們操作電腦來解決問題時不會只用一個視窗，而且快速連線按鈕會讓我常使用的遠端連線管理工具mRemoteNG出問題。
最近終於忍不住想要來找找怎麼關閉快速連線按鈕了。但是這個按鈕不光是在哪裡設定，我一開始連名字叫做什麼都不知道。隨意找幾個關鍵字之後，發現網路上非常多教學都在教怎麼關閉快速連線按鈕，例如Rizonesoft的這篇或是Ashwin這篇。Rizonesoft寫得更是好笑，他說光找這設定可花了他10分鐘。對一個號稱簡單使用的軟體來說，TeamViewer真應該檢討一下。
回到正題，讓我們繼續講怎麼關閉快速連線按鈕。以下我以TeamViewer 11.0.53.254版作為例子來說明。
首先我們打開TeamViewer，進入「其他」中的「選項」。
在「TeamViewer選項」對話視窗中，從左邊進入「進階」，然後選擇「顯示進階選項」。
找到「電腦與聯絡人的進階設定」，底下有「快速連線按鈕」，請按下右邊的「設定」。
在「設定QuickConnect」對話視窗中，我們把「顯示QuickConnect按鈕」的選項取消打勾。然後一路按「確定」退出設定。
這樣就大功告成囉，希望大家使用TeamViewer順利！
(more...)在巨量資料開始盛行之前，資料分析系統流行的名詞叫做商業智慧(Business Intelligence, 簡稱BI)。這個名字充滿金錢味的技術大多時候的確是付了錢才玩得起，不過也有商業智慧系統是以開放原始碼的方式發佈，就是我今天要介紹的Pentaho。
我從Pentaho的網站上翻譯了它的簡介：
Pentaho致力於協助企業從原始資料中找出重要價值。為了簡化了各種資料的彙整與統合過程，該平臺內建一系列的工具，可輕鬆進行分析、視覺化、探索、彙整報表與預測。Pentaho是開放、容易嵌入在任何系統中、並具備延展性，可用來提供每一位團隊成員--從開發者到公司客戶--都能夠輕易將原始的數據資料轉換成具價值的可用資訊。
必須要說明的是，Pentaho的商業模式就跟大部分的開放原始碼系統一樣，同時具有企業版與社群版兩種版本。前者必須付費購買，但有30天試用期；後者可以免費取得、自行安裝，但是功能有所限縮。
作為開放原始碼的支持者，我這篇當然要講的是開放原始碼版本的Pentaho Community 6.0囉。
Pentaho是以Java / JSP Servlet組成，而且還自行內建了Apache Tomcat。我們只要搞定Java環境變數的設定跟調整一些參數，就能夠立刻架起Pentaho。
雖然是這樣說，但是在安裝JSP網頁系統的時候，光是Java環境變數的設定就已經是許多人難以跨越的障礙。因此我想要整理這篇安裝手續，供其他人方便架設Pentaho。
Pentaho跟Java必備的JDK、JRE都是蠻大的檔案。在開始安裝之前，建議先把這些檔案下載來用吧。
Pentaho將系統拆分成基本分析平臺與各個模組，像是資料整合(Data Integration)、報表設計(Report Designer)、外掛市集(Marketplace)。我也尚未深入探索Pentaho其他功能，本篇只講如何架設，請直接下載商業分析平臺(Business Analytics Platform)即可：
下載的檔案將會是biserver-ce-6.0.1.0-386.zip。由於Pentaho檔案過多，請不要解壓縮在其他目錄底下。請直接解壓縮到磁碟機目錄底下，例如：c:\，如上圖所示。
Pentaho的運作環境需要Java的JDK (Java SE Development Kit)跟JRE (Java Runtime Environment)。但是下載JDK跟JRE的時候，請特別注意你電腦的作業系統類型，分清楚你是64位元或是32位元，並下載相對應的版本。你可以參考微軟的說明「我的電腦執行的是 32 位元還是 64 位元版本的 Windows？」來確認你的版本。
你可能平常上網的時候就已經安裝過JRE了，但是一般人應該比較少下載過JDK。JDK在下載的時候請先選擇「Accept License Agreement」，再到下面選擇Windows x86 (表示適用於32位元)或Windows x64 (表示適用於64位元)下載。
為了讓Pentaho跟運作Pentaho的伺服器Apache Tomcat能夠正常運作，我們必須在系統的環境變數中指定JDK跟JRE的路徑位置，並且把JDK的bin資料夾路徑加入到環境變數Path中。因此在安裝完JDK跟JRE之後，我們還要確認系統中JDK跟JRE的路徑位置。
JDK 8 64位元版本的位置預設是在C:\Program Files\java\jdk1.8.0_65。如果是32位元的版本，則會被放在C:\Program Files (x86)\java\jdk1.8.0_65 裡面。請注意JDK版本號的差異會影響路徑的位置，上面我是以紅字標示。如果你下載的是不同版本的JDK，那麼紅字的路徑則會有所不同，請自行修正。
JRE的安裝路徑大致上跟JDK相同，只是名稱是JRE而已。
以我的電腦為例，JDK跟JRE的路徑如下：
這兩個路徑對下一步設定有極大的影響，請務必確認正確喔。
接下來我們要在Windows環境變數中設定相關變數的路徑。以下先講解Windows 7開啟環境變數設定的設定必須從以下步驟進入：
其他Windows平臺的設定方式，可以參考Java撰寫的「我要如何設定或變更 PATH 系統變數？」。
Windows設定環境變數的方法埋在很深的地方，不少人都找不到哪裡設定。即使到了Windows 7，這個問題也看不到微軟會想改善的樣子，真是欺負新手啊。
首先我們先來新增三個個系統變數。請按「新增」按鈕來新增系統，如下圖紅框所示。
在「新增系統變數」對話視窗裡面，「變數名稱」輸入要新增的變數名稱，「變數值」則是輸入路徑，完成請按下「確定」。
接著請依序新增二個環境變數：
再來我們要設定Path變數。首先在「系統變數」裡面選取Path，然後按下「編輯」按鈕。如下圖所示：
然後我們就會看到Path的變數值，非常長。
我建議把這個變數值複製到筆記本中去編輯，編輯完成之後再貼回去。我們要在Path的路徑後面再加上分號與JDK底下bin目錄的路徑。舉例來說：
確認修改完成之後，再按下「確定」，確認並關閉對話視窗。
必須特別注意的是，請不要複製我的Path變數值到你的電腦來用。因為Path變數值包含了其他程式需要的運作環境，如果被修改的話會導致其他程式無法正常運作。
修改系統環境變數一定要登出再登入之後才會生效，所以請花點時間登出並登入吧。
題外話，Linux可以用source /etc/profile 來使得環境變數生效，這點Windows就比較麻煩。
許多人無法直接開啟Pentaho的主要原因，在於Pentaho對Apache Tomcat要求的記憶體過高，所以電腦開不起來。Pentaho community 6對記憶體的要求為2GB到6GB之間，但其實只要512MB到1GB之間的記憶體即可。以下來說明如何修改。
要修改Pentaho啟動腳本，請先準備好純文字編輯器，在這裡不能用筆記本來修改。我推薦使用Notepad++ Portable：
接著用Notepad++來開啟Pentaho安裝目錄底下的「start-pentaho.bat」。
你可以注意到裡面有個設定叫做：
set CATALINA_OPTS=-Xms2048m -Xmx6144m -XX:MaxPermSize=256m -Dsun.rmi.dgc.client.gcInterval=3600000 -Dsun.rmi.dgc.server.gcInterval=3600000 -DDI_HOME=%DI_HOME%
這個-Xms表示所需要的最小記憶體量，-Xmx則是最大記憶體量。讓我們來修改這個設定成為以下結果，請注意藍字修改過後的地方。
set CATALINA_OPTS=-Xms512m -Xmx1024m -XX:MaxPermSize=256m -Dsun.rmi.dgc.client.gcInterval=3600000 -Dsun.rmi.dgc.server.gcInterval=3600000 -DDI_HOME=%DI_HOME%
儲存start-pentaho.bat，這樣就可以了。
附帶一題，如果你電腦設備允許的話，記憶體當然是越大越好。在這邊只是說明最小需求的安裝方法而已。
接著我們再回來Pentaho安裝目錄，執行「start-pentaho.bat」。
接下來應該會跳出黑底白字的Tomcat主控臺視窗，然後稍等它一下即可。
如果看到以下訊息，就表示Tomcat已經準備完成：
2016/01/06 07:47:37 – General – Creating repository meta store interface
2016/01/06 07:47:37 – General – Connected to the enterprise repository
如果你沒有看到這個黑底白字的框持續出現，而是瞬間就關掉，那就是之前的安裝方法有錯誤了。
查看錯誤的方式是從命令提示字元中去開啟start-pentaho.bat。然後再看它給的錯誤訊息來偵錯吧。
確認Pentaho已經正常啟動之後，我們就可以開啟Pentaho網站來登入系統了。
Pentaho預設是以8080連接埠提供服務，在本機上請開啟這個網址：
順利的話就會看到這個畫面。預設登入帳號與密碼是：
最後就能夠開始使用Pentaho了！以上安裝步驟大功告成！
雖然說巨量資料的盛行讓資訊視覺化的重要性又再度被重視，但是在早期的時代中，許多人都已經使用商業智慧系統來對大量資料進行分析。
我在做的數位學習議題──主要是在KALS的數位閱讀議題上，也常常會有分析資料的需求。這個分析並不只是單純的學習成效跑推論統計，而是更基本地、需要從即時圖表來瞭解使用者整體概況的需求。因此我也需要一些工具來輔助我分析KALS的資料。
雖然現在有許多工具可以用來做資料視覺化，像是D3.js，但是它的強項在於特殊分析與特殊圖表的展現，卻並不具備與資料庫之間整合，或甚至是調整資料來源篩選、重新查詢等其他功能。(題外話，如果對資訊視覺化很有興趣的話，我推薦訂閱「資料視覺化」blog，以及「視覺化資料: 100%全腦吸收大數據, 直入神經元」這本書) 資訊視覺化的工具大多只注重最前端的呈現，卻不能滿足整個分析流程的需求。
所以現在我跟實驗室的學弟選擇使用開放原始碼的商業智慧分析系統Pentaho。但由於系統功能繁雜，目前尚未能夠做到我們想要的目標，仍在持續研究中。有機會再跟大家分享。
(more...)講到滯後序列分析(Lag Sequential Analysis)的時候，說臺科大的候惠澤老師是世界第一把交椅也不是誇張的形容。今天趁著政大圖檔所博士班研究能量提升工作坊的機會跟侯老師討教了MEPA的操作，意外地發現居然如此的簡單。但操作上還是有很多細節，以下我就一步一步介紹如何使用。
MEPA是荷蘭最古老大學之一烏特勒支大學(Utrecht University)教育科學系的Gijsbert Erkens所開發的互動分析軟體。
MEPA是一個用於標註、對於一些口語或行為觀察資料進行編碼的靈活工具。這個程式可以用來發展觀察行為資料的編碼系統，也可以用來針對已經編碼的口語或行為資料進行各種質性與量化的分析。
作者Erkens並沒有直接在網路上公開MEPA軟體，但可以寫信去跟作者索取。(請不要跟我索取，credit回歸作者)
我在寫碩士論文的時候候惠澤老師就推薦我用MEPA進行分析，但是我自個兒摸來摸去也不得其門而入。今天請大師指點一二之後，立刻打通任督二脈，終於搞懂怎麼分析了。
首先我們要先把編碼整理成MEPA可以使用的格式。如何編碼與整理成編碼序列，可以參考之前的介紹「行為編碼與序列分析」。
舉例來說，如果我們最後獲得的觀察樣本是「ABDCCBBD」，那麼就請開啟Excel，將樣本以垂直的方式輸入到Excel中。例如：
| A |
| B |
| D |
| C |
| C |
| B |
| B |
| D |
最後將檔案儲存成「xls」格式即可。不可以使用xlsx，請使用早期的xls。
以下提供範例檔案，裡面的序列僅供參考：
沒有Excel也可以用免費的LibreOffice Calc。
開啟MEPA之後，開啟左上角的File，然後選擇「Read from Excel file」。
選擇要分析的xls檔案，例如這個data.xls。
接著會出現Import from Excel對話視窗。我們要設定兩個地方：
設定完成之後按下OK。
主視窗往下移動，你會發現V4已經匯入了來自Excel的資料。
接著按下上面的「Sequential」，選擇要分析的「V4」。
這時候會出現Lag Sequential Analysis滯後序列分析輸入視窗，請按下「OK」。很多參數設定還要再研究，但至少我確定那個lag of analyis是1沒錯。
這時候MEPA會顯示錯誤，這是正常現象。
接著開啟你輸入檔案的資料夾位置，如果是「data.xls」的話，旁邊應該可以找到新增的「data.ana」。請使用記事本軟體，例如Notepad++ Portable來開啟。
能看到這個畫面，表示結果正常出來了。
畫面往下拉到「Adjusted Residuals Table」，這就是我們要的答案。
上面範例的調整殘差表(Z-scores)如下：
| A | B | C | D | |
| A | 15.70 | 3.17 | -10.82 | -9.77 |
| B | -2.99 | -15.15 | 24.14 | 2.88 |
| C | -2.99 | 3.10 | -8.20 | 6.74 |
| D | -9.63 | 9.78 | -6.24 | -0.27 |
其中有大於1.96的序列轉換表示有顯著，我以紅字標示，列出結果如下：
根據上述序列，我們將各個行為畫成圓形節點，序列轉移顯著程度則是用粗細不同的線條來表示，越粗表示序列轉移越顯著(Z-score越高)，沒有連線表示沒有顯著序列轉移。
結果就是這樣子了。
剛剛試著拿MEPA跟我之前寫的序列分析工具來比較，發現結果差異甚多。看來我的程式應該要檢討了。
建議大家以後都用MEPA來分析吧。
(more...)
Comments