PostgreSQL高可用架構：pgpool2虛擬應用範本 / HA structure of PostgreSQL: pgpool2 Virtual Application Template

傳統的關聯式資料庫PostgreSQL一般而言都是裝在本機端上運作，但是搭配了pgpool中介工具，就能夠串聯多臺PostgreSQL伺服器，以達到高可用(High Available)的架構。我將pgpool與PosgreSQL的高可用架構做成了兩臺虛擬應用範本pgpool-master跟pgpool-slave提供大家下載，並說明擴充的方法。

什麼是pgpool？ / What is pgpool?

pgpool是PostgreSQL的中介工具(middleware)，現在的版本為pgpool-II，所以軟體名稱通常是pgpool2，以下內容翻譯自pgpool Wiki。

pgpool-II採BSD開放原始碼授權，提供了以下功能：

• 資料庫連線池管理(Connection Pooling)：pgpool-II保存連線到PostgreSQL伺服器的連線，當同樣設定的人進行連線時，就拿以保存的連線來使用。這可以降低資料庫連線的額外負擔(overhead)，並且改善系統整體效能。(布丁註：早期我在DSpace上使用Proxool也是同樣的目的)
• 資料複製(replication)：pgpool-II可以管理多個PostgreSQL伺服器。使用複製功能，可以即時將資料備份在2個或更多的實體硬碟中，如此一來即使硬碟損毀，伺服器仍然可以繼續提供服務。
• 負載平衡(Load Balancing)：當資料複製功能開啟時，在任何伺服器上執行SELECT查詢時的會獲得同樣地結果。pgpool-II將SELECT查詢分散到多個PostgreSQL伺服器上，以改進整體的效能。PostgreSQL伺服器的數量越多，效能提升的幅度越多。負載平衡特別適用於很多使用者同時執行大量查詢的時候。
• 限制超量的資料庫連線：PostgreSQL會限制最大同時連線數量，超量的連線將會被拒絕。調整資料庫連線上限會增加資源消耗量，並影響系統效能。pgpool-II也可以設定連線數量的上限，而超過的連線將會列入等待，而不會立即回傳錯誤。
• 並行查詢(Parallel Query)：使用並行查詢功能，查詢本身會切割成多個部分，並同時在多臺伺服器上同時進行查詢、取回資料、並進行合併，以此降低整體執行的時間。(布丁註：類似RAID-0的概念) 並行查詢的功能最適合用在查詢大規模的資料上。

pgpool-II將PostgreSQL伺服器作為後端與前端的通訊接口，並仰賴與伺服器之間的連線。因此，資料庫應用程式(前端，意思是網站)會將pgpool-II視為一臺PostgreSQL伺服器，而資料庫伺服器(後端)則會視pgpool-II為它的客戶端。因為pgpool-II對伺服器與客戶端來說都是透明的，因此既有的資料庫應用程式(網站)可以直接使用pgpool-II而幾乎不需要更改設定。(布丁註：通常修改連接埠即可)

(我翻譯完才發現pgpool有中文wiki…)

pgpool-II的配置 / Configuring pgpool-II

pgpool有很多模式，每一種模式都會啟用或關閉部分功能，詳細的設定一般會位於 /etc/pgpool.conf 與 /etc/pcp.conf。讓我們來看看pgpool的四種模式：

• O表示可用、X表示不可用。
• *1 並行模式需要同時打開複製與負載平衡的設定，但是複製和負載平衡無法用於並行查詢模式中的分佈式表。
• *2 線上恢復可以和串流複製同時使用。
• *3 客戶端僅是透過pgpool-II連接到PostgreSQL伺服器。這種模式僅用於限制連到伺服器的連接數，或著在多臺機器上啟用故障恢復的功能。

本文主要的目標在於第二種模式：複製模式。以下大致上說明安裝的過程，至於結果請直接用虛擬應用範本就好了。

安裝pgpool-II / Install pgpool-II

我以Turunkey Linux的PostgreSQL虛擬應用範本為基礎，以apt-get安裝pgpool2，然後修改配置後完成。大致做法如下：

1. 下載Turnkey Linux Postgresql：這個虛擬應用範本做得很貼心，安裝完成之後可以自動提示設定PostgreSQL預設帳號postgres的密碼，使用https連線就會開啟phpPgAdmin。
2. 從虛擬應用範本建立虛擬機器：做法請看我之前寫的教學：Proxmox VE 3安裝與建立OpenVZ虛擬機器。建立的虛擬機器有兩臺，各別是pgpool-master與pgpool-slave。以下步驟大部分都會在這兩台上進行。這兩台伺服器的IP為：
   1. pgpool-master: 192.168.11.110
   2. pgpool-slave: 192.168.11.111
3. 啟動Turnkey Linux Postgresql：Turnkey Linux的虛擬應用範本啟動時都要先進行初始化，大概要花10分鐘的時間。
4. 安裝pgpool2：安裝指令為：
   apt-get install –y pgpool2
5. 設定伺服器之間SSH的連線：
   
   1. 先設定postgres帳號的密碼：
      passwd postgres
設定密碼為： password
   2. 切換到posgresql帳號：
      su postgres
   3. 在pgpool-master電腦上建立ssh金鑰：
      ssk-keygen
      當詢問passphrase的時候，直接enter就好了，不設定passphrase。
      
   4. 複製金鑰到pgpool-slave：
      ssh-copy-id postgres@192.168.11.111
      詢問密碼時，輸入剛剛設定postgres的密碼：password
      
6. 設定PostgreSQL的連線權限：
   1. 修改/etc/postgresql/9.1/main/pg_hba.conf ，注意，路徑可能會因為PostgreSQL的版本而有所不同，我用的是9.1版本。
   2. 將METHOD中使用peer與md5的登入方式全部改成password。例如：
      host    all         all         0.0.0.0/0             password #md5
      
      
7. 設定 /etc/pgpool2/pcp.conf
   
   1. 建立要連線帳號的md5密碼，我們用預設帳號postgres來做這件事情：
      pg_md5 postgres –p
   2. 輸入密碼，我建立公開範本的統一密碼都是password
   3. 取得md5編碼：「88e2d8cd1e92fd5544c8621508cd706b」
   4. 連同帳號組成「postgres:88e2d8cd1e92fd5544c8621508cd706b」，加到 /etc/pgpool2/pcp.conf最後一行
8. 調整 /etc/pgpool2/pgpool.conf 基本設定：
   1. listen_addresses = '*' # 表示可讓任何其他伺服器連線到pgpool。
   2. replication_mode = on  # 啟用資料複製
   3. load_balance_mode = on # 啟用負載平衡
9. 調整 /etc/pgpool2/pgpool.conf 連接PostgreSQL伺服器的設定，backend_hostname1就是pgpool-slave：
   backend_hostname1 = 'localhost'
backend_port1 = 5432
backend_weight1 = 1
backend_hostname1 = '192.168.11.111'
backend_port1 = 5432
backend_weight1 = 1
   
10. 修改phpPgAdmin的連接埠設定 /etc/phppgadmin/config.inc.php：
    $conf['servers'][0]['port'] = 5433;
    這樣phppgadmin就會連到pgpool，而不是原本的PostgreSQL。
11. 重新啟動pgpool-II跟PostgreSQL：
    service pgpool2 restart
service pgpool2 postgresql
12. 開啟phpPgAdmin看看成果：
    https://192.168.11.110
    
    這個網址應該可以打開phpPgAdmin，然後請用postgres / password來登入。登入之後的任何操作都會在pgpool-master跟pgpool-slave上生效。這就代表成功了。

安裝pgpoolAdmin / Install pgpoolAdmin

pgpoolAdmin是用來管理pgpool-II的PHP網頁管理工具。我們可以用它來快速確認pgpool是否正常運作。安裝方法參考自Aric Gardner的PGPOOL-II-ADMIN安裝教學。我把pgpoolAdmin跟phpPgAdmin結合，大致上步驟如下：

1. 下載pgpoolAdmin：
   • 下載版本列表：http://pgpool.net/mediawiki/index.php/Downloads#pgpoolAdmin_.28Source.29
   • 最新版本：http://www.pgpool.net/download.php?f=pgpoolAdmin-3.2.2.tar.gz
2. 解壓縮後，更改目錄名為admin-tool
3. 修改擁有者為root
   chown -R root admin-tool
4. 修改目錄與檔案為777
   chmod 777 templates_c
chmod 777 conf/pgmgt.conf.php
5. 放置到phpPgAdmin的網頁目錄：/usr/share/phppgadmin/admin-tool/
6. 開啟網頁 https://192.168.11.110/admin-tool/install，按照指示設定。主要設定包括了
1. 修改以下目錄與檔案的修改為777 (使用chmod)
1. /etc/pgpool2/pcp.conf
2. /etc/pgpool2//etc/pgpool2/pgpool.conf
2. pgpool.conf File (string): /etc/pgpool2/pgpool.conf
3. Password File (string): /etc/pgpool2/pcp.conf
4. pgpool Command (string): /usr/sbin/pgpool
5. PCP Directory (string): /usr/sbin/
7. 設定完成後，刪除install資料夾
   rm -rf /usr/share/phppgadmin/admin-tool/install/

開啟網頁：https://192.168.11.110/admin-tool/status.php

設定完成。

下載pgpool虛擬應用範本 / Download pgpool Virtual Application Template

經過以上漫長的安裝過程之後，最後成果就是pgpool-master跟pgpool-slave這兩個虛擬應用範本啦。

• debian-7-pgpool-master_amd64.tar.gz
• debian-7-pgpool-slave_amd64.tar.gz.gz

建立虛擬應用範本的方法請參考我之前寫的教學：Proxmox VE 3安裝與建立OpenVZ虛擬機器。

建置好之後，設定啟動，預設就是這兩台伺服器的PostgreSQL高可用架構。

pgpool虛擬應用範本操作教學 / pgpool Virtual Application Guide

接下來我要說明使用教學。在以下教學中的網路設定如下：

• pgpool-master： 192.168.11.110 （主要操作都在這進行）
• pgpool-slave：192.168.11.111
• pgpool-slave2 (複製pgpool-slave)：192.168.11.112

如何操作pgpool？

請使用phpPgAdmin來操作pgpool，操作方式就跟原本操作PostgreSQL一樣！

網址是： https://[pgpool-master-ip]/

如何觀看pgpool的運作狀況？

請使用pgpoolAdmin，網址是：https://[pgpool-master-ip]/admin-tool/

如何連接到pgpool？ / How to connect to pgpool?

很簡單，使用原本連接到PostgreSQL的設定方式，連線到pgpool-master，然後連接埠改成5433就可以了。(PostgreSQL預設連接埠為5432)

以CodeIgnitor的資料庫連線設定來舉例，

原本的設定可能是連線到localhost本機端：
$db['default']['hostname'] = "localhost";
$db['default']['username'] = "root";
$db['default']['password'] = "password";
$db['default']['database'] = "database_name";
$db['default']['dbdriver'] = "postgres";

現在要改成連線到pgpool-master (假設IP為192.168.11.110)，而且要指定連接埠為5433：
$db['default']['hostname'] = "192.168.11.110";
$db['default']['username'] = "root";
$db['default']['password'] = "password";
$db['default']['database'] = "database_name";
$db['default']['dbdriver'] = "postgres";
$db['default']['port'] = 5433;

如何增加pgpool的數量？ / How to extend pgpool structure?

首先，我們要再建置一臺pgpool-slave，設定為pgpool-slave2，設定網路位址為192.168.11.112。

然後來到pgpool-master上，修改 /etc/pgpool2/pgpool.conf。加入以下設定：(因為是第三臺，所以編號為2，下一臺編號就是3，依此類推)
backend_hostname2 = '192.168.11.112'
backend_port2 = 5432
backend_weight2 = 1

重新啟動pgpool：
service pgpool2 restart

從pgpoolAdmin來看，pgpool-slave2已經加入節點中。

有其他問題怎麼辦？ / Other Questions

請使用Blogger的「張貼留言」來描述您的問題。

結論 / Conclusion

其實最近我連續做了很多個OpenVZ的虛擬應用範本，可是大部分是做給實驗室內部使用的，因此還沒能花時間轉換成可以發佈的版本。老實說，用OpenVZ製作虛擬應用範本有點麻煩。即使我用了Turnkey Linux來製作虛擬機器，可是檔案還是有200MB以上，要找到空間擺放，實在是不太容易。而且如果我要修改一個檔案，那就要重新打包、上傳，這樣子維護虛擬應用範本實在是太沒有效率。

OpenVZ虛擬應用範本在更新上實在很麻煩，因此我開始關注起Docker的倉庫運作方式。不知道這個倉庫的運作方不方便使用？

Windows Live Writer可以連線Blogger了 / WLW connecting Blogger problem was solved

最近令人開心的消息很多，其中一項就是Blogger Support Team的Nick修復了Windows Live Writer連接Blogger的問題。

而且之前說的Blog密碼錯誤的問題(Google帳戶不允許安全性較低的應用程式存取權限)也一併修復了！就算是像上圖一樣保持關閉的情況，也能夠正常發文了。

各位WLW的災友們，可以回來繼續寫Blog囉。

永別了，「Blogger傳回下列錯誤: NotFound: Not Found」，我希望再也不要看到你了啊。

編碼結果轉序列編碼工具 / Coding Result to Sequence Convertor

這一篇是為編碼結果與序列分析工具之間的資料轉換工具。因為我們通常都是用Google試算表或是Excel類型的工具來做編碼，可是序列分析工具卻輸入需要一連串的文字，因此我製作一個轉換工具來介接兩者。

操作方法 / Usage Guide

1. 在Google試算表(Sheet)或是Excel上選取要轉換的編碼結果。如下圖：
   
2. 貼在下面的「coding result」表單欄位中。
   
3. 按下「Convert」按鈕，轉換結果就會出現在「coding sequence」欄位中。
   

編碼者間一致性信度：Cohen Kappa係數計算器 / Intercoder Reliability: Cohen's Kappa Coefficient Counter

我寫了一個線上計算Cohen Kappa係數的工具。本文簡單介紹編碼者間一致性信度與操作教學。

為什麼要算編碼者間的一致性信度？ What’s Intercoder Relicability?

William M.K. Trochim這張圖傳神地描繪出編碼者間一致性的問題。兩位編碼者(coder)，或著說是觀察者(observer) (註1)，在分析與觀察同一件物品或現象時，兩個人的觀點可能會不太一樣。

註1：因為現在觀察大多是交給機器錄影或錄音，較無觀察偏見的問題。主要會受到人為影響的部分則是分析這些錄影與訪談的資料，而分析質性資料將之給與概念化標籤的方法稱之為「編碼」，進行編碼的研究者也就是「編碼者」。

如果兩人編碼結果相差很大，那表示研究者的分析方式不夠客觀、帶有嚴重偏頗。如果兩人編碼結果相同，那表示這是一個很穩定、具有足夠信度、可以重複使用的編碼方法。

因此現在的研究方法中會要求質性編碼要以兩位以上研究者來進行編碼，並利用統計來計算編碼者之間的一致性信度。

Cohen Kappa係數 / Cohen's Kappa Coefficient

依據資料類型的不同，一致性信度有很多種計算方式。在此介紹的是適用於名義尺度資料類型的Cohen Kappa係數計算方法。名義尺度的意思是資料編碼本身只是一個「代號」，代號與代號之間並沒有順序、間隔、比例的關係。Cohen Kappa係數只看有多少個編碼，兩個人之間的編碼相符的比例為何。由於Cohen Kappa排除了編碼者亂填的隨機性，因此比單純的相符百分比還來得可信。

Kappa係數介於-1 ~ 1之間。一般來說，能達到0.8以上是很棒的結果，但通常達到0.6~0.8就可以發表了。至於0.6以下，則是建議你們兩位編碼者再討論一下編碼方法，有更多共識之後再來重編一次吧。

計算器操作說明 / Counter Usage Guide

1. 首先，在Google試算表或是Excel中，複製兩位編碼者的編碼結果。
   
2. 貼在「coding result」的表單欄位中。
   
3. 按下「Count Cohen’s Kappa Coefficient」之後，結果表格就會呈現在下方。紅字的部分就是Cohen Kappa係數了。 
   

Ubuntu中如何用腳本檔新增/etc/hosts設定 / How to write a script for adding hostname to /etc/hosts in Ubuntu

sudo -- sh -c "echo '10.0.0.254      mfsmaster' >> /etc/hosts"

/etc/hosts是做什麼用的？ / What is /etc/hosts?

hosts檔案是一個用於儲存電腦網路中各節點資訊的電腦檔案。這個檔案負責將主機名對映到相應的IP位址。hosts檔案通常用於補充或取代網路中DNS的功能。和DNS不同的是，電腦的使用者可以直接對hosts檔案進行控制。

127.0.0.1       localhost.localdomain localhost
127.0.1.1       zentyal.zentyal.dlll.nccu.edu.tw zentyal

# The following lines are desirable for IPv6 capable hosts
::1     localhost ip6-localhost ip6-loopback
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters

系統安全性的關鍵 / Security Issues

192.168.11.50    www.google.com.tw

如何用腳本檔新增設定？ / How to add configuration to /etc/hosts by script?

sudo echo "10.0.0.254    mfsmaster" >> /etc/hosts

-bash: /etc/hosts: Permission denied

sudo -- sh -c "echo '10.0.0.254      mfsmaster' >> /etc/hosts"

Windows Live Writer上傳到Blogger發生密碼錯誤的問題 / How to solve Windows Live Writer Permission Error

如果你發生了「Windows Live Writer無法使用此使用者名稱及密碼登入遠端伺服器。請確認您輸入正確資訊後再試一次。」的問題，這是因為Google賬戶設定中不允許安全性較低的應用程式存取你的賬戶。只要暫時開啟允許安全性較低的應用程式存取權限，再回到Windows Live Writer來更新即可。

如何啟用安全性較低的應用程式存取權限？ / How to enable less secure apps access permission?

這個問題rtpHarry也講過，最簡單的做法，就是暫時打開安全性較低的應用程式存取權。

• 設定網址：https://www.google.com/settings/security/lesssecureapps

設成「開啟」之後，再來回到Windows Live Wirterr進行上傳的動作即可。用完之後可以再關閉存取權，以提高賬戶的安全性。

這個問題除了讓Windows Live Writer無法登入Blogger之外，我手機上使用IMAP的郵件APP也發生了同步錯誤的問題。這設定真是擾民啊。

有軟體可以取代WLW嗎？ / Anyone could replace WLW?

我因為這個莫名其妙的緣故，導致很長一段時間都沒辦法使用Windows Live Writer (WLW)來寫。最近終於快受不了了，於是開始找看看有沒有可以替代WLW的程式。雖然這篇2014年的「13 Best Alternatives To Window live Writer For Windows, Mac & Linux」已經介紹了很多類似的工具，但很遺憾的是，大部分都是很久以前就存在、需要付費，甚至我還測試過的工具(Zoundary Raven)。

抱著半放棄的心態，剛剛安裝了BlogJet來試試看能不能用。雖然是個付費的軟體，但如果可以用的話，倒也不是不可以買。只是試著新增Blogger帳號時，又發生了低安全性應用程式禁止登入的問題。好吧，如果這個問題都不能解決，那就跟用WLW還是一樣的程度，不如回頭繼續使用WLW。

WLW無可取代的功能有那些？ / Important Features of WLW

這不禁讓我思考起，究竟我需要WLW的什麼功能？而這是其他Blog工具都無可取代的呢？

目前想到得有：

• 圖片上傳整合Picasa：這真的是至今沒有看到任何Blog工具有這樣功能，太重要了。大部分的Blog工具都可以上傳到FTP，但是這個年頭還有人在FTP的嗎？
• 簡易的圖片編輯功能：我喜歡WLW會為圖片加上陰影與的效果，這會讓人在看圖片時覺得跟內文有所區別，而且比較美觀。
  
• 整合Blogger範本的功能：我可以用我喜歡的背景顏色與字體顏色來寫作，這讓很容易進入專注的狀態。
• 外掛Dynamic Template跟Code Snippet：WLW的外掛功能擴展了Blog寫作的無限可能，其中我認為最重要的兩個外掛，一個是可以標亮程式碼的Code Snippet，另一個是可以插入自訂程式碼的Dynamic Template。這兩個太重要了少了他們，叫我怎麼寫Blog？
  

以前我也有很多次興起想要換掉WLW的念頭，結果時至今日，我還是繼續用著WLW。現在無法登入的問題也解決了，了那就繼續來寫吧。

分號轉星號工具 / Convert Semicolon to Star

這一個幫學弟寫的簡易分析小程式。

功能：將「--」符號前最近的一個「;」替換成「*」。