用OpenVZ安裝Zentyal失敗記錄

為了繼續之前提出的DLLL-CIAS第四版架構，我開始試著在Proxmox VE 3.2上用OpenVZ來安裝Zentyal (附帶一提，Proxmox VE本身是以VirtualBox架設的，因此是全部都在虛擬機器下運作)。我以ubuntu-14.04-x86_64.tar.gz為基礎，用apt-get來安裝Zentyal。過程很順利，但問題卻卡在最後的網路上：無法建立具有內網與外網的NAT。我嘗試了很多方法來解決這個問題，但總歸來說，無法建立的原因可歸納為兩個門檻：1. OpenVZ的veth網卡只能連到未公開的虛擬網路；2. OpenVZ的veth與venet之間無法轉遞封包。以下來說明我遇到的這兩個問題。

1. OpenVZ的veth網卡只能連到未公開的虛擬網路

在討論這個問題之前，我們必須先釐清OpenVZ的兩種網路模式：venet跟veth。下表是veth跟venet的差異比較：

veth跟venet的差異

Feature 特徵	veth	venet
可使用的虛擬機器類型	OpenVZ KVM	OpenVZ
可透過網頁管理 直接配置網路IP	No	Yes
MAC address 網卡位置	Yes	No
Broadcasts inside CT 封包會在虛擬機器間廣播	Yes	No
Traffic sniffing 封包攔截	Yes	No
Network security 網路安全	Low	High
Can be used in bridges 可否用於橋接器	Yes	No
IPv6 ready 可否使用IPv6	Yes	Yes
Performance 效能	Fast	Fastest

OpenVZ預設使用的是venet (Virtual NETwork)，可以直接給定IP，速度非常快。但是venet沒有MAC位址，使用上較為受限，可能不適合作為Zentyal的網路。因此這次我選擇使用veth (Virtual ETHernet)來架設，veth是用模擬真實的網卡的方式，可給虛擬機器安裝如「eth0」的虛擬網卡，因此配置上會比較貼近我們真實使用情境下安裝Zentyal的模式。

我原本是這樣想，但很遺憾的是，veth並沒有照我想的去運作。建立的veth網卡只能在虛擬機器之前彼此連線，但是卻無法連上網際網路。

用KVM的方式新增veth：失敗

我是以Ubuntu 14.04來建立虛擬機器(又稱為container)，一開始是用類似KVM的方式來新增網卡，但沒有成功。大致上步驟如下：

1. 將虛擬機器關機。
2. 新增veth網卡，Bridge設為vmbr0 (預設)，其他參數、包括MAC位址，全由Proxmox VE自動指定。
3. 虛擬機器開機。
4. 在console端進入虛擬機器的指令列，設定網路。 (因為網路尚未設定好，所以沒辦法用SSH連入)
   以下都是虛擬機器 (container) 中的操作。
5. /etc/network/interfaces中設定eth0：
   auto eth0
iface eth0 inet static
        address 192.168.11.118
        netmask 255.255.255.0
        gateway 192.168.11.99
6. 重新啟動網路：
   [container]# /etc/init.d/networking restart
7. 使用ifconfig，確認eth0有正常啟動
8. 使用ping，無法連到網際網路。
   

參考OpenVZ的veth說明來設定：失敗

由於用KVM設定veth的方法失敗了，所以我改找OpenVZ官方網站的veth說明來操作。該網頁介紹了很多方法，從簡單的設定、使用IPv4的直接路由、使用IPv6的直接路由、或是建立橋接器(brdige)等等。我按照上面的指示操作，但大部分都失敗了。

在OpenVZ的介紹中有幾個動作是之前沒有做過的：

• 確保vzethdev載入：
  modprobe vzethdev
• 開啟網路卡的forwarding跟proxy_arp
  

  [host-node]# ifconfig veth101.0 0
  [host-node]# echo 1 > /proc/sys/net/ipv4/conf/veth101.0/forwarding
  [host-node]# echo 1 > /proc/sys/net/ipv4/conf/veth101.0/proxy_arp
  [host-node]# echo 1 > /proc/sys/net/ipv4/conf/eth0/forwarding
  [host-node]# echo 1 > /proc/sys/net/ipv4/conf/eth0/proxy_arp

其他設定網卡的方法大致上類似。但是很遺憾的是，這些設定依然是無法讓veth網卡連線到網際網路。

奇妙的是，網路上許多人在OpenVZ中使用veth看起來都很順利，可是我自己使用OpenVZ從以前到現在就沒有veth順利連線的印象，這究竟是怎麼會是呢？如果有高手看到我這篇的話，希望能夠在下面留言欄為我解惑解惑。

2. OpenVZ的veth與venet之間無法轉遞封包

由於veth未能照預期的形式運作，所以我改轉用venet來設定網卡。

Zentyal只能抓到venet一張網卡

儘管虛擬機器可以設定兩個venet的IP，各別配置對外網路用的IP: 192.168.11.117跟對內網路用的IP: 10.0.0.254，但結果會如上圖所示，Zentyal只能抓到一個venet網卡。

這是因為venet網卡只有venet0，兩個IP是用虛擬網路卡的方式模擬出來的。我們可以用ifconfig來觀察虛擬機器的設定：

[container]# ifconfig
lo        Link encap:Local Loopback
          inet addr:127.0.0.1  Mask:255.0.0.0
          UP LOOPBACK RUNNING  MTU:16436  Metric:1
          RX packets:200 errors:0 dropped:0 overruns:0 frame:0
          TX packets:200 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0
          RX bytes:10000 (10.0 KB)  TX bytes:10000 (10.0 KB)

venet0    Link encap:UNSPEC  HWaddr 00-00-00-00-00-00-00-00-00-00-00-00-00-00-00-00
          inet addr:127.0.0.2  P-t-P:127.0.0.2  Bcast:0.0.0.0  Mask:255.255.255.255
          UP BROADCAST POINTOPOINT RUNNING NOARP  MTU:1500  Metric:1
          RX packets:35 errors:0 dropped:0 overruns:0 frame:0
          TX packets:46 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0
          RX bytes:4480 (4.4 KB)  TX bytes:6905 (6.9 KB)

venet0:0  Link encap:UNSPEC  HWaddr 00-00-00-00-00-00-00-00-00-00-00-00-00-00-00-00
          inet addr:192.168.11.117  P-t-P:192.168.11.117  Bcast:192.168.11.117  Mask:255.255.255.255
          UP BROADCAST POINTOPOINT RUNNING NOARP  MTU:1500  Metric:1

venet0:1  Link encap:UNSPEC  HWaddr 00-00-00-00-00-00-00-00-00-00-00-00-00-00-00-00
          inet addr:10.0.0.254  P-t-P:10.0.0.254  Bcast:10.0.0.254  Mask:255.255.255.255
          UP BROADCAST POINTOPOINT RUNNING NOARP  MTU:1500  Metric:1

 

Zentyal設定邏輯中對外網路與對內網路有相當大的差異，若使用venet會導致Zentyal無法判斷那一張網卡是對外網路(External, WAN)還是對內網路，因此並不是一個可行的方案。

venet可連上網際網路，但無法架設NAT

即使如此，若使用venet的兩個IP來設定，對內網路依然連得到對內網路的虛擬機器、對外網路則可以讓網際網路的電腦來連線。不過光是這樣依然無法做成NAT的網路架構。

一般使用情境下，只要在Zentyal當中設定好對外網路與對內網路的網卡，Zentyal就會自動設定成NAT。若是不仰賴套裝軟體，也可以用iptables來實作NAT。我參考Ubuntu Server 12.04 LTS 設定 iptables 實現 NAT Server這篇的做法來做，關鍵的設定是在設定 IP Forwarding and Masquerading：
iptables --table nat --append POSTROUTING --out-interface venet0:0 -j MASQUERADE
iptables --append FORWARD --in-interface venet0:1 -j ACCEPT

但是很遺憾的是，依然無法成功。然後我試著用veth來作為內部網路的網卡，結果反而連venet都無法連線。我猜是因為Zentyal會蓋掉Proxmox對虛擬機器的網路設定，兩者導致了衝突。

結論：應該使用KVM來架設Zentyal

直到剛剛我都還在嘗試各種設定，但是總是該設一個期限。當我把這篇失敗的記錄寫完之後，我想也差不多該終止以OpenVZ架設Zentyal的研究，而回歸到原本使用KVM架設的規劃。

想來還是有點不甘心，以OpenVZ架設的Zentyal壓縮後的備份檔案大小只有800MB不到，而且啟動速度又快。回去使用KVM的話，虛擬網卡會有網路轉換的額外負荷，只能說是「可以用」但稱不上是「很有效率」。只是因為伺服器虛擬化之後管理起來比較方便而已。

好吧，雖然不是一篇成功的研究，不過總是該打起精神，這條路就先到此為止吧。

(more...)