DSpace改用Proxool增加連線效率
DSpace改用Proxool增加連線效率
Proxool 是一個開放原始碼的連線池(Connection Pool)管理套件，引用一下「Proxool - 快速入門」來介紹一下什麼連線池：
在資料庫應用程式中，資料庫連線的取得是一個耗費時間的動作，為了避免花費時間在連線的取得與關閉上，我們會將連線資源放置在一個池中，有需要連線時就從池中取得，不需要連線時就將之放回池中，以求重複利用連線，連線池也擔任連線數量、連線時間的控制等等動作。
連線池的設置可以讓資料庫連線比較不容易當機(當然，你要惡意地一直對伺服器發出請求，伺服器還是會當的)。DSpace的資料庫連也有設置連線池，但是連線數量一多的時候，系統卻不會踢掉已經發呆太久的連線，而導致發生「PSQLException: This statement has been closed (這個statement已經被關閉)」的例外錯誤。
Proxool在JDBC的連線池當中似乎是頗富盛名的套件，我們試著以Proxool取代DSpace預設的連線池，也大幅度地改善了DSpace的資料庫連線容易當機的問題！此外我順便撰寫了一個可直接使用SQL語法查詢的類別，可直接輸入SQL語法而回傳ResultSet物件，而不需要另外去學習DSpace的DatabaseManager怎麼使用。
以下教學都是基於我之前撰寫的DSpace 1.5.1安裝法，如果你也是照著這方法安裝，那麼以下的路徑設定幾乎不需要更動。如果不是的話，那麼請你務必注意到路徑的地方必需要改成你的環境！
DSpace的路徑我們通常會用[dspace-source]表示DSpace原始的程式檔，在本文中則是「/opt/dspace-1.5.1-src-release」，而[dspace]則是表示DSpace的安裝檔，本文中是「/dspace」，請依照你實際的情況來調整。
安裝步驟
Step 1. 在伺服器上安裝Proxool到Java的函式庫中
請到下載網頁下載Proxool的編譯打包檔，檔案類型為jar。
請取出壓縮檔裡面的proxool-0.9.1.zip/proxool-0.9.1/jarjar/jarjar-0.6.jar。
接下來安裝到Java的函式庫當中，請把jarjar-0.6.jar擺到JAVA_HOME/jre/lib/ext/跟[dspace]/lib/當中。JAVA_HOME是你Java環境路徑檔，以我以前的DSpace安裝法來說，jarjar-0.6.jar的位置應該在/usr/java/jdk1.6.0_12/jre/lib/ext/jarjar-0.6.jar以及/dspace/lib/jarjar-0.6.jar。
Step 2. 修改DatabaseManager.java
請修改你的[dsapce-source]/dspace-api/src/main/java/org/dspace/storage/rdbms/DatabaseManager.java，也就是請修改/opt/dspace-1.5.1-src-release2/dspace-api/src/main/java/org/dspace/storage/rdbms/DatabaseManager.java。
請找到getConnection()的方法：
public static Connection getConnection() throws SQLException
{
initialize();
return DriverManager
.getConnection("jdbc:apache:commons:dbcp:" + poolName);
}
請修改成以下程式碼：
public static Connection getConnection() throws SQLException //, ClassNotFoundException
{
boolean useProxool = ConfigurationManager.getBooleanProperty("db.proxool",true);
if (useProxool != true)
{
initialize();
return DriverManager
.getConnection("jdbc:apache:commons:dbcp:" + poolName);
}
else
{
Connection conn = null;
try {
Class.forName("org.logicalcobwebs.proxool.ProxoolDriver");
conn = DriverManager.getConnection("proxool."+ConfigurationManager.getProperty("db.poolname")+":org.postgresql.Driver:"+ConfigurationManager.getProperty("db.url")
, ConfigurationManager.getProperty("db.username")
, ConfigurationManager.getProperty("db.password"));
}
catch (ClassNotFoundException e) {e.printStackTrace();}
return conn;
}
}
如果你的DatabaseManager.java之前並沒有修改過，那麼你也可以用我已經改好的DatabaseManager.java檔案 (http://0rz.tw/a4Vat)。
Step.3 加入SQLQuery.java
請新增[dspace-source]/dspace-api/src/main/java/org/dspace/storage/rdbms/SQLQuery.java。或是用我已經寫好的SQLQuery檔案 (http://0rz.tw/a4Vat)。
SQLQuery是直接用SQL語法直接查詢資料庫的類別，內容也很簡單(版權宣告反而比內容還要長)，後面章節會教讀者如何使用，程式碼如下：
package org.dspace.storage.rdbms;
import org.dspace.core.Context;
import java.sql.SQLException;
import java.sql.Statement;
import java.sql.ResultSet;
public class SQLQuery
{
private Context context = null;
private Statement statement = null;
public SQLQuery(Context c)
{
context = c;
}
public ResultSet query(String query) throws SQLException
{
try{
if (statement != null)
{
statement.close();
}
statement = context.getDBConnection().createStatement();
ResultSet rs = statement.executeQuery(query);
return rs;
}
catch (SQLException sqle)
{
throw sqle;
}
}
}
Step.4 修改web.xml
請修改
[dspace-source]/dspace-jspui/dspace-jspui-webapp/src/main/webapp/WEB-INF/web.xml，一樣地你也可以選擇用我已經寫好的web.xml檔案 (http://0rz.tw/a4Vat)。
修改的過程如下：
先找到「</web-app>」，這應該在web.xml的最後一行。
然後在</web-app>之前，加入以下xml設定：
<!-- proxool setting -->
<servlet>
<servlet-name>ServletConfigurator</servlet-name>
<servlet-class>org.logicalcobwebs.proxool.configuration.ServletConfigurator</servlet-class>
<init-param>
<param-name>propertyFile</param-name>
<param-value>${dspace.dir}/config/dspace.cfg</param-value>
</init-param>
<load-on-startup>1</load-on-startup>
</servlet>
<!-- Proxool Admin -->
<!-- If you want to check database connection detail, just remove comment marks. -->
<!--
<servlet>
<servlet-name>proxool</servlet-name>
<servlet-class>org.logicalcobwebs.proxool.admin.servlet.AdminServlet</servlet-class>
</servlet>
<servlet-mapping>
<servlet-name>proxool</servlet-name>
<url-pattern>/proxool</url-pattern>
</servlet-mapping>
<display-name>proxool</display-name>
<servlet>
<servlet-name>Admin</servlet-name>
<servlet-class>org.logicalcobwebs.proxool.admin.servlet.AdminServlet</servlet-class>
</servlet>
<servlet-mapping>
<servlet-name>Admin</servlet-name>
<url-pattern>/admin</url-pattern>
</servlet-mapping>
-->
注意到後面的註解標籤「<!—」跟「-->」，裡面的內容是Proxool的管理介面，可以看到你資料庫的連線狀態。稍後我會介紹怎麼開啟Proxool的管理介面，預設我們就把他關起來吧。
Step.5 修改dspace.cfg，增加Proxool.properties
請修改[dspace-source]/dspace/config/dspace.cfg，這個設定檔在安裝DSpace的時候一定會修改到，所以我不提供寫好的檔案，請依照以下步驟修改：
首先先找個地方插入設定，其實插入到哪裡都可以，但我想擺在一個跟資料庫靠近的地方還是比較好。請找到「##### Email settings #####」，通常會位於db.poolname的設定之後，原始的dspace.cfg那部份的程式碼如下：
# Specify a name for the connection pool (useful if you have multiple applications sharing Tomcat's dbcp) # If not specified, defaults to 'dspacepool' # db.poolname = dspacepool ##### Email settings ###### # SMTP mail server mail.server=smtp.myu.edu
請先把db.poolname的註解拿掉，變成如下：(如果你有多個DSpace系統，那麼最好用不同的名稱)
db.poolname = dspacepool
請增加以下程式碼：
##### Proxool settings #####
# Use Proxool, you have to install Proxool's jar file (jarjar-0.6.jar) to JAVA_HOME/jre/lib/ext/
db.proxool = true
# Proxool Properties
jdbc-0.proxool.alias = ${db.poolname}
jdbc-0.proxool.driver-class = ${db.driver}
jdbc-0.proxool.driver-url = ${db.url}
jdbc-0.user = ${db.username}
jdbc-0.password = ${db.password}
jdbc-0.proxool.house-keeping-sleep-time = 3000
jdbc-0.proxool.simultaneous-build-throttle = 5
jdbc-0.proxool.prototype-count = 4
jdbc-0.proxool.maximun-connection-lifetime = 60000
jdbc-0.proxool.maximum-connection-count = 500
jdbc-0.proxool.minimum-connection-count = 3
jdbc-0.proxool.statistics = 1m,15m,1d
jdbc-0.proxool.overload-without-refusal-lifetime = 10000
jdbc-0.proxool.maximum-active-time = 60000
jdbc-0.proxool.statistics-log-level=ERROR
如果你想要使用DSpace預設的連線池，那麼可以把db.proxool設為false。
Proxool可以設定的參數還有很多，以上的設定是我們在測試的過程中決定的連線參數，這讓伺服器在短時間內容易到達連線上限，但又很快可以恢復。有興趣可以到Proxool的網站去查查看Properties的意思，或是參考proxool 连接池配置属性说明。
稍後我會介紹之後調整參數的方法，預設值就設成這樣吧！
Step.6 DSpace編譯、配置
由於我們修改了dspace.cfg，所以我們必須使用ant的另一個參數來更新DSpace安裝檔。以下照著這個步驟確實地作吧：
移動到[dspace-source]/dspace。
[dspace@dspace ~]# cd /opt/dspace-1.5.1-src-release/dspace
執行「mvn package」。
[dspace@dspace dspace]# mvn package
如果最後看到「[INFO] BUILD SUCCESSFUL」訊息，表示編譯成功。如果失敗了，那麼可能是DatabaseManager.java或是SQLQuery.java這兩個檔案出錯了，請檢查編碼或是錯字等問題，然後再來執行mvn package。
請移動到[dspace-source]/dspace/target/dspace-{verion}-build.dir/。
[dspace@dspace dspace]# cd /opt/dspace-1.5.1-src-release/dspace/target/dspace-1.5.1-build.dir/
接下來要用ant配置。如果你是第一次安裝DSpace，那麼請執行以下指令：
[dspace@dspace dspace-1.5.1-build.dir]# ant fresh-install
如果你已經安裝了DSpace，那麼請執行以下指令。請務必注意到dspace.cfg必須要指定你的DSpace安裝位置(dspace.dir)，我們通常會用[dspace]來表示！
[dspace@dspace dspace-1.5.1-build.dir]# ant -Dconfig=/dspace/config/dspace.cfg init_configs [dspace@dspace dspace-1.5.1-build.dir]# ant -Dconfig=/dspace/config/dspace.cfg update_webapps
然後把[dspace]/webapps/jspui複製到你的Tomcat的webapps資料夾當中，請注意到要設置成你的Tomcat的安裝位置。
[dspace@dspace ~]# \cp -rf /dspace/webapps/jspui /opt/apache-tomcat-6.0.13/webapps/
最後重新啟動Tomcat。
[dspace@dspace ~]# /opt/apache-tomcat-6.0.13/bin/shutdown.sh [dspace@dspace ~]# /opt/apache-tomcat-6.0.13/bin/startup.sh
大功告成了！
接下來你可以打開你的DSpace，移動到display-item的頁面，然後用連點程式狂按「重新整理」或「F5鍵」，看看你的DSpace哪時候會掛點吧！
附帶一題，我是用連點程式每秒按2下「F5」來搞壞我的DSpace的，歡迎大家分享更有「創意」的搞壞方法。(誤)
進階調整
有些預設安裝沒有開啟的功能，或是之後要調整的參數設定，在這邊我一口氣介紹吧！由於DSpace在經過ant配置完之後，需要修改的位置都不大相同。你當然可以用上面的步驟整個慢慢地修改、mvn package、ant，但也可以用以下的偷吃步來修改！
快速修改Proxool參數
請直接修改[dspace]/config/dspace.cfg，修改完畢之後重新啟動Tomcat即可生效。
請注意！如果你的參數設置錯誤的話，Proxool會使用預設值來連線。預設最大連線數(maximum-connection-count)只有15，連線量一多很快就會當掉了。
你會發現[dspace]/config/dspace.cfg中Proxool有些參數跟上面不一樣，這是因為他經過ant配置，把一些變數替換掉的結果。那些都是資料庫連線的必要參數，請不要變更。
如果你發現更好的參數配置，請務必告訴我喔！
開啟Proxool Admin介面
請修改Tomcat中webapps/jspui/WEB-INF/web.xml (/opt/apache-tomcat-6.0.13/webapps/jspui/WEB-INF/web.xml)，把Proxool Admin的註解拿掉。然後重新啟動Tomcat，就用網址http://你的主機:8080/jspui/proxool來開啟Proxool Admin。
Proxool Admin的畫面如上，當中可以看到Proxool的各個參數跟現在資料庫的連線狀態。如果你發現參數跟你設置的不一樣，例如最大連線數(maximum-connection-count)只有預設值的15，而不是我們設定的500，那麼就可能是你的Proxool設定檔有問題囉。
當不使用的時候，建議是把Proxool Admin介面關掉比較好喔。
使用SQLQuery
還記得我們剛剛新增了一個「SQLQuery.java」嗎？現在我就來介紹一下他要怎麼在DSpace裡面使用。
首先要先引用SQLQuery。
<%@ page import="org.dspace.storage.rdbms.SQLQuery" %>
然後你必需找到context物件。如果你的程式之中沒有預先宣告的話，那麼你可以用以下方法來建立一個context物件：
<% Context context = new Context(); %>
然後建立一個SQLQuery物件：
<% SQLQuery sq = new SQLQuery(context); %>
接著你就可以使用query方法來取得ResultSet囉！
<%
ResultSet rs = sq.query("SELECT count(*) FROM item");
%>
至於ResultSet要怎麼用嘛……就請你參考PostgreSQL 文檔 發出查詢和處理結果囉。
後記
DSpace儘管擁有相當完整的系統架構，但是資料庫連線這個問題卻是困擾我們已久，連DSpace的說明文件都說叫我們手動去砍掉那些死掉的連線(文件裡面把這些連線稱為「殭屍(zombie)」)。
今天總算用Proxool來改進這個問題，Proxool可以動態地踢掉沒動作的連線，比起DSpace內建的連線池還來得聰明的多，真是讓人感動！
最後，請不要問我為什麼不寫論文，而一直在研究DSpace，我只能告訴你這是教育部全國通識計畫要用的系統而已……<-- Post Catalog -->
(more...)
Comments