:::

DSpace改用Proxool增加連線效率

4月 15, 2009 5 Comments Edit Copy Download

image

Proxool 是一個開放原始碼的連線池(Connection Pool)管理套件,引用一下「Proxool - 快速入門」來介紹一下什麼連線池:

在資料庫應用程式中,資料庫連線的取得是一個耗費時間的動作,為了避免花費時間在連線的取得與關閉上,我們會將連線資源放置在一個池中,有需要連線時就從池中取得,不需要連線時就將之放回池中,以求重複利用連線,連線池也擔任連線數量、連線時間的控制等等動作。

連線池的設置可以讓資料庫連線比較不容易當機(當然,你要惡意地一直對伺服器發出請求,伺服器還是會當的)。DSpace的資料庫連也有設置連線池,但是連線數量一多的時候,系統卻不會踢掉已經發呆太久的連線,而導致發生「PSQLException: This statement has been closed (這個statement已經被關閉)」的例外錯誤。

Proxool在JDBC的連線池當中似乎是頗富盛名的套件,我們試著以Proxool取代DSpace預設的連線池,也大幅度地改善了DSpace的資料庫連線容易當機的問題!此外我順便撰寫了一個可直接使用SQL語法查詢的類別,可直接輸入SQL語法而回傳ResultSet物件,而不需要另外去學習DSpace的DatabaseManager怎麼使用。

以下教學都是基於我之前撰寫的DSpace 1.5.1安裝法,如果你也是照著這方法安裝,那麼以下的路徑設定幾乎不需要更動。如果不是的話,那麼請你務必注意到路徑的地方必需要改成你的環境!

DSpace的路徑我們通常會用[dspace-source]表示DSpace原始的程式檔,在本文中則是「/opt/dspace-1.5.1-src-release」,而[dspace]則是表示DSpace的安裝檔,本文中是「/dspace」,請依照你實際的情況來調整。

安裝步驟

Step 1. 在伺服器上安裝Proxool到Java的函式庫中

請到下載網頁下載Proxool的編譯打包檔,檔案類型為jar。

請取出壓縮檔裡面的proxool-0.9.1.zip/proxool-0.9.1/jarjar/jarjar-0.6.jar

接下來安裝到Java的函式庫當中,請把jarjar-0.6.jar擺到JAVA_HOME/jre/lib/ext/[dspace]/lib/當中。JAVA_HOME是你Java環境路徑檔,以我以前的DSpace安裝法來說,jarjar-0.6.jar的位置應該在/usr/java/jdk1.6.0_12/jre/lib/ext/jarjar-0.6.jar以及/dspace/lib/jarjar-0.6.jar

Step 2. 修改DatabaseManager.java

請修改你的[dsapce-source]/dspace-api/src/main/java/org/dspace/storage/rdbms/DatabaseManager.java,也就是請修改/opt/dspace-1.5.1-src-release2/dspace-api/src/main/java/org/dspace/storage/rdbms/DatabaseManager.java

請找到getConnection()的方法:

    public static Connection getConnection() throws SQLException
    {
        initialize();

        return DriverManager
                .getConnection("jdbc:apache:commons:dbcp:" + poolName);
    }

請修改成以下程式碼:

    public static Connection getConnection() throws SQLException //, ClassNotFoundException
    {
        boolean useProxool = ConfigurationManager.getBooleanProperty("db.proxool",true);
		if (useProxool != true)
		{
			initialize();

        	return DriverManager
                .getConnection("jdbc:apache:commons:dbcp:" + poolName);
		}
		else
		{
			Connection conn = null;
			try {
				Class.forName("org.logicalcobwebs.proxool.ProxoolDriver");
				conn = DriverManager.getConnection("proxool."+ConfigurationManager.getProperty("db.poolname")+":org.postgresql.Driver:"+ConfigurationManager.getProperty("db.url") 
					, ConfigurationManager.getProperty("db.username")
					, ConfigurationManager.getProperty("db.password"));
			}
			catch (ClassNotFoundException e) {e.printStackTrace();}
			return conn;
		}
    }

如果你的DatabaseManager.java之前並沒有修改過,那麼你也可以用我已經改好的DatabaseManager.java檔案 (http://0rz.tw/a4Vat)。

Step.3 加入SQLQuery.java

請新增[dspace-source]/dspace-api/src/main/java/org/dspace/storage/rdbms/SQLQuery.java。或是用我已經寫好的SQLQuery檔案 (http://0rz.tw/a4Vat)。

SQLQuery是直接用SQL語法直接查詢資料庫的類別,內容也很簡單(版權宣告反而比內容還要長),後面章節會教讀者如何使用,程式碼如下:

package org.dspace.storage.rdbms;

import org.dspace.core.Context;
import java.sql.SQLException;
import java.sql.Statement;
import java.sql.ResultSet;

public class SQLQuery
{
	private Context context = null;
	private Statement statement = null;
	
	public SQLQuery(Context c)
	{
		context = c;
	}
	
	public ResultSet query(String query) throws SQLException   
    {
		try{
			if (statement != null)
			{
				statement.close();
			}
			statement = context.getDBConnection().createStatement();
			ResultSet rs = statement.executeQuery(query);
			return rs;
		}
		catch (SQLException sqle)
        {
            throw sqle;
        }
		
    }
}
Step.4 修改web.xml

請修改

[dspace-source]/dspace-jspui/dspace-jspui-webapp/src/main/webapp/WEB-INF/web.xml,一樣地你也可以選擇用我已經寫好的web.xml檔案 (http://0rz.tw/a4Vat)。

修改的過程如下:

先找到「</web-app>」,這應該在web.xml的最後一行。

然後在</web-app>之前,加入以下xml設定:

<!-- proxool setting -->
<servlet>
  <servlet-name>ServletConfigurator</servlet-name>
  <servlet-class>org.logicalcobwebs.proxool.configuration.ServletConfigurator</servlet-class>
  <init-param>
    <param-name>propertyFile</param-name>
    <param-value>${dspace.dir}/config/dspace.cfg</param-value>
  </init-param>
  <load-on-startup>1</load-on-startup>
</servlet>

<!-- Proxool Admin -->
<!-- If you want to check database connection detail, just remove comment marks. -->
<!--
<servlet>
  <servlet-name>proxool</servlet-name>
  <servlet-class>org.logicalcobwebs.proxool.admin.servlet.AdminServlet</servlet-class>
</servlet>

<servlet-mapping>
  <servlet-name>proxool</servlet-name>
  <url-pattern>/proxool</url-pattern>
</servlet-mapping>


<display-name>proxool</display-name>
<servlet>
<servlet-name>Admin</servlet-name>
<servlet-class>org.logicalcobwebs.proxool.admin.servlet.AdminServlet</servlet-class>
</servlet>

<servlet-mapping>
<servlet-name>Admin</servlet-name>
<url-pattern>/admin</url-pattern>
</servlet-mapping>
-->

 

注意到後面的註解標籤「<!—」跟「-->」,裡面的內容是Proxool的管理介面,可以看到你資料庫的連線狀態。稍後我會介紹怎麼開啟Proxool的管理介面,預設我們就把他關起來吧。

Step.5 修改dspace.cfg,增加Proxool.properties

請修改[dspace-source]/dspace/config/dspace.cfg,這個設定檔在安裝DSpace的時候一定會修改到,所以我不提供寫好的檔案,請依照以下步驟修改:

首先先找個地方插入設定,其實插入到哪裡都可以,但我想擺在一個跟資料庫靠近的地方還是比較好。請找到「##### Email settings #####」,通常會位於db.poolname的設定之後,原始的dspace.cfg那部份的程式碼如下:

# Specify a name for the connection pool (useful if you have multiple applications sharing Tomcat's dbcp)
# If not specified, defaults to 'dspacepool'
# db.poolname = dspacepool

##### Email settings ######

# SMTP mail server
mail.server=smtp.myu.edu

請先把db.poolname的註解拿掉,變成如下:(如果你有多個DSpace系統,那麼最好用不同的名稱)

db.poolname = dspacepool

請增加以下程式碼:

##### Proxool settings #####

# Use Proxool, you have to install Proxool's jar file (jarjar-0.6.jar) to JAVA_HOME/jre/lib/ext/
db.proxool = true

# Proxool Properties
jdbc-0.proxool.alias = ${db.poolname}
jdbc-0.proxool.driver-class = ${db.driver}
jdbc-0.proxool.driver-url = ${db.url}
jdbc-0.user = ${db.username}
jdbc-0.password = ${db.password}
jdbc-0.proxool.house-keeping-sleep-time = 3000
jdbc-0.proxool.simultaneous-build-throttle = 5
jdbc-0.proxool.prototype-count = 4
jdbc-0.proxool.maximun-connection-lifetime = 60000
jdbc-0.proxool.maximum-connection-count = 500
jdbc-0.proxool.minimum-connection-count = 3
jdbc-0.proxool.statistics = 1m,15m,1d
jdbc-0.proxool.overload-without-refusal-lifetime = 10000
jdbc-0.proxool.maximum-active-time = 60000
jdbc-0.proxool.statistics-log-level=ERROR

如果你想要使用DSpace預設的連線池,那麼可以把db.proxool設為false。

Proxool可以設定的參數還有很多,以上的設定是我們在測試的過程中決定的連線參數,這讓伺服器在短時間內容易到達連線上限,但又很快可以恢復。有興趣可以到Proxool的網站去查查看Properties的意思,或是參考proxool 连接池配置属性说明

稍後我會介紹之後調整參數的方法,預設值就設成這樣吧!

Step.6 DSpace編譯、配置

由於我們修改了dspace.cfg,所以我們必須使用ant的另一個參數來更新DSpace安裝檔。以下照著這個步驟確實地作吧:

移動到[dspace-source]/dspace

[dspace@dspace ~]# cd /opt/dspace-1.5.1-src-release/dspace

執行「mvn package」。

[dspace@dspace dspace]# mvn package

如果最後看到「[INFO] BUILD SUCCESSFUL」訊息,表示編譯成功。如果失敗了,那麼可能是DatabaseManager.java或是SQLQuery.java這兩個檔案出錯了,請檢查編碼或是錯字等問題,然後再來執行mvn package。

請移動到[dspace-source]/dspace/target/dspace-{verion}-build.dir/

[dspace@dspace dspace]# cd /opt/dspace-1.5.1-src-release/dspace/target/dspace-1.5.1-build.dir/

接下來要用ant配置。如果你是第一次安裝DSpace,那麼請執行以下指令:

[dspace@dspace dspace-1.5.1-build.dir]# ant fresh-install

如果你已經安裝了DSpace,那麼請執行以下指令。請務必注意到dspace.cfg必須要指定你的DSpace安裝位置(dspace.dir),我們通常會用[dspace]來表示!

[dspace@dspace dspace-1.5.1-build.dir]# ant -Dconfig=/dspace/config/dspace.cfg init_configs
[dspace@dspace dspace-1.5.1-build.dir]# ant -Dconfig=/dspace/config/dspace.cfg update_webapps

然後把[dspace]/webapps/jspui複製到你的Tomcat的webapps資料夾當中,請注意到要設置成你的Tomcat的安裝位置

[dspace@dspace ~]# 
\cp -rf /dspace/webapps/jspui /opt/apache-tomcat-6.0.13/webapps/

最後重新啟動Tomcat。

[dspace@dspace ~]# /opt/apache-tomcat-6.0.13/bin/shutdown.sh
[dspace@dspace ~]# /opt/apache-tomcat-6.0.13/bin/startup.sh

大功告成了!

接下來你可以打開你的DSpace,移動到display-item的頁面,然後用連點程式狂按「重新整理」或「F5鍵」,看看你的DSpace哪時候會掛點吧!

附帶一題,我是用連點程式每秒按2下「F5」來搞壞我的DSpace的,歡迎大家分享更有「創意」的搞壞方法。(誤)


進階調整

有些預設安裝沒有開啟的功能,或是之後要調整的參數設定,在這邊我一口氣介紹吧!由於DSpace在經過ant配置完之後,需要修改的位置都不大相同。你當然可以用上面的步驟整個慢慢地修改、mvn package、ant,但也可以用以下的偷吃步來修改!

快速修改Proxool參數

請直接修改[dspace]/config/dspace.cfg,修改完畢之後重新啟動Tomcat即可生效。

請注意!如果你的參數設置錯誤的話,Proxool會使用預設值來連線。預設最大連線數(maximum-connection-count)只有15,連線量一多很快就會當掉了。

你會發現[dspace]/config/dspace.cfg中Proxool有些參數跟上面不一樣,這是因為他經過ant配置,把一些變數替換掉的結果。那些都是資料庫連線的必要參數,請不要變更。

如果你發現更好的參數配置,請務必告訴我喔!

開啟Proxool Admin介面

請修改Tomcat中webapps/jspui/WEB-INF/web.xml (/opt/apache-tomcat-6.0.13/webapps/jspui/WEB-INF/web.xml),把Proxool Admin的註解拿掉。然後重新啟動Tomcat,就用網址http://你的主機:8080/jspui/proxool來開啟Proxool Admin。

image

Proxool Admin的畫面如上,當中可以看到Proxool的各個參數跟現在資料庫的連線狀態。如果你發現參數跟你設置的不一樣,例如最大連線數(maximum-connection-count)只有預設值的15,而不是我們設定的500,那麼就可能是你的Proxool設定檔有問題囉。

當不使用的時候,建議是把Proxool Admin介面關掉比較好喔。

使用SQLQuery

還記得我們剛剛新增了一個「SQLQuery.java」嗎?現在我就來介紹一下他要怎麼在DSpace裡面使用。

首先要先引用SQLQuery。

<%@ page import="org.dspace.storage.rdbms.SQLQuery" %>

然後你必需找到context物件。如果你的程式之中沒有預先宣告的話,那麼你可以用以下方法來建立一個context物件:

<%
Context context = new Context();
%>

然後建立一個SQLQuery物件:

<%
SQLQuery sq = new SQLQuery(context);
%>

接著你就可以使用query方法來取得ResultSet囉!

<%
ResultSet rs = sq.query("SELECT count(*) FROM item");
%>

至於ResultSet要怎麼用嘛……就請你參考PostgreSQL 文檔 發出查詢和處理結果囉。


後記

DSpace儘管擁有相當完整的系統架構,但是資料庫連線這個問題卻是困擾我們已久,連DSpace的說明文件都說叫我們手動去砍掉那些死掉的連線(文件裡面把這些連線稱為「殭屍(zombie)」)。

今天總算用Proxool來改進這個問題,Proxool可以動態地踢掉沒動作的連線,比起DSpace內建的連線池還來得聰明的多,真是讓人感動!

最後,請不要問我為什麼不寫論文,而一直在研究DSpace,我只能告訴你這是教育部全國通識計畫要用的系統而已……<-- Post Catalog -->

總共5 則留言 ( 我要發問 , 隱藏留言 顯示留言 )

  1. 丁神!丁神!丁神!丁神!丁神!丁神!丁神!丁神!

    回覆刪除
  2. 補上要把jar檔案放在DSpace的lib函式庫位置,這樣子有些[dspace]/bin當中的指令需要用到資料庫的時候,就能夠順利引用到jarjar-0.6.jar

    回覆刪除