用OpenVZ安裝Zentyal失敗記錄

3月 01, 2015 OS/Zentyal , Virtual Machine/OpenVZ , Zentyal 0 Comments Edit Copy Download

為了繼續之前提出的DLLL-CIAS第四版架構，我開始試著在Proxmox VE 3.2上用OpenVZ來安裝Zentyal (附帶一提，Proxmox VE本身是以VirtualBox架設的，因此是全部都在虛擬機器下運作)。我以ubuntu-14.04-x86_64.tar.gz為基礎，用apt-get來安裝Zentyal。過程很順利，但問題卻卡在最後的網路上：無法建立具有內網與外網的NAT。我嘗試了很多方法來解決這個問題，但總歸來說，無法建立的原因可歸納為兩個門檻：1. OpenVZ的veth網卡只能連到未公開的虛擬網路；2. OpenVZ的veth與venet之間無法轉遞封包。以下來說明我遇到的這兩個問題。

1. OpenVZ的veth網卡只能連到未公開的虛擬網路

在討論這個問題之前，我們必須先釐清OpenVZ的兩種網路模式：venet跟veth。下表是veth跟venet的差異比較：

OpenVZ預設使用的是venet (Virtual NETwork)，可以直接給定IP，速度非常快。但是venet沒有MAC位址，使用上較為受限，可能不適合作為Zentyal的網路。因此這次我選擇使用veth (Virtual ETHernet)來架設，veth是用模擬真實的網卡的方式，可給虛擬機器安裝如「eth0」的虛擬網卡，因此配置上會比較貼近我們真實使用情境下安裝Zentyal的模式。

我原本是這樣想，但很遺憾的是，veth並沒有照我想的去運作。建立的veth網卡只能在虛擬機器之前彼此連線，但是卻無法連上網際網路。

用KVM的方式新增veth：失敗

我是以Ubuntu 14.04來建立虛擬機器(又稱為container)，一開始是用類似KVM的方式來新增網卡，但沒有成功。大致上步驟如下：

1. 將虛擬機器關機。
2. 新增veth網卡，Bridge設為vmbr0 (預設)，其他參數、包括MAC位址，全由Proxmox VE自動指定。
3. 虛擬機器開機。
4. 在console端進入虛擬機器的指令列，設定網路。 (因為網路尚未設定好，所以沒辦法用SSH連入)
   以下都是虛擬機器 (container) 中的操作。
5. /etc/network/interfaces中設定eth0：
   auto eth0
iface eth0 inet static
        address 192.168.11.118
        netmask 255.255.255.0
        gateway 192.168.11.99
6. 重新啟動網路：
   [container]# /etc/init.d/networking restart
7. 使用ifconfig，確認eth0有正常啟動
8. 使用ping，無法連到網際網路。
   

參考OpenVZ的veth說明來設定：失敗

由於用KVM設定veth的方法失敗了，所以我改找OpenVZ官方網站的veth說明來操作。該網頁介紹了很多方法，從簡單的設定、使用IPv4的直接路由、使用IPv6的直接路由、或是建立橋接器(brdige)等等。我按照上面的指示操作，但大部分都失敗了。

在OpenVZ的介紹中有幾個動作是之前沒有做過的：

• 確保vzethdev載入：
  modprobe vzethdev
• 開啟網路卡的forwarding跟proxy_arp
  

  [host-node]# ifconfig veth101.0 0
  [host-node]# echo 1 > /proc/sys/net/ipv4/conf/veth101.0/forwarding
  [host-node]# echo 1 > /proc/sys/net/ipv4/conf/veth101.0/proxy_arp
  [host-node]# echo 1 > /proc/sys/net/ipv4/conf/eth0/forwarding
  [host-node]# echo 1 > /proc/sys/net/ipv4/conf/eth0/proxy_arp

其他設定網卡的方法大致上類似。但是很遺憾的是，這些設定依然是無法讓veth網卡連線到網際網路。

奇妙的是，網路上許多人在OpenVZ中使用veth看起來都很順利，可是我自己使用OpenVZ從以前到現在就沒有veth順利連線的印象，這究竟是怎麼會是呢？如果有高手看到我這篇的話，希望能夠在下面留言欄為我解惑解惑。

2. OpenVZ的veth與venet之間無法轉遞封包

由於veth未能照預期的形式運作，所以我改轉用venet來設定網卡。

Zentyal只能抓到venet一張網卡

儘管虛擬機器可以設定兩個venet的IP，各別配置對外網路用的IP: 192.168.11.117跟對內網路用的IP: 10.0.0.254，但結果會如上圖所示，Zentyal只能抓到一個venet網卡。

這是因為venet網卡只有venet0，兩個IP是用虛擬網路卡的方式模擬出來的。我們可以用ifconfig來觀察虛擬機器的設定：

Zentyal設定邏輯中對外網路與對內網路有相當大的差異，若使用venet會導致Zentyal無法判斷那一張網卡是對外網路(External, WAN)還是對內網路，因此並不是一個可行的方案。

venet可連上網際網路，但無法架設NAT

即使如此，若使用venet的兩個IP來設定，對內網路依然連得到對內網路的虛擬機器、對外網路則可以讓網際網路的電腦來連線。不過光是這樣依然無法做成NAT的網路架構。

一般使用情境下，只要在Zentyal當中設定好對外網路與對內網路的網卡，Zentyal就會自動設定成NAT。若是不仰賴套裝軟體，也可以用iptables來實作NAT。我參考Ubuntu Server 12.04 LTS 設定 iptables 實現 NAT Server這篇的做法來做，關鍵的設定是在設定 IP Forwarding and Masquerading：
iptables --table nat --append POSTROUTING --out-interface venet0:0 -j MASQUERADE
iptables --append FORWARD --in-interface venet0:1 -j ACCEPT

但是很遺憾的是，依然無法成功。然後我試著用veth來作為內部網路的網卡，結果反而連venet都無法連線。我猜是因為Zentyal會蓋掉Proxmox對虛擬機器的網路設定，兩者導致了衝突。

結論：應該使用KVM來架設Zentyal

直到剛剛我都還在嘗試各種設定，但是總是該設一個期限。當我把這篇失敗的記錄寫完之後，我想也差不多該終止以OpenVZ架設Zentyal的研究，而回歸到原本使用KVM架設的規劃。

想來還是有點不甘心，以OpenVZ架設的Zentyal壓縮後的備份檔案大小只有800MB不到，而且啟動速度又快。回去使用KVM的話，虛擬網卡會有網路轉換的額外負荷，只能說是「可以用」但稱不上是「很有效率」。只是因為伺服器虛擬化之後管理起來比較方便而已。

好吧，雖然不是一篇成功的研究，不過總是該打起精神，這條路就先到此為止吧。