VirtualBox擴大CentOS的LVM硬碟筆記

前言

VirtualBox使用虛擬動態映像檔(vdi)，VDI的好處在於你能夠保留最大到2TB的擴增空間，但卻又只會佔用實際儲存的資料。具體來說，vdi可以讓GuestOS(在此指虛擬機器)當中讀取起來有到2TB(大概2024GB)的硬碟，但在HostOS(在此指實際安裝虛擬機器的本機端)中只會佔用vdi中實際儲存的檔案，可能只需要23GB。當你發現VDI的大小超過HostOS所能允許的空間的話，就直接更換VDI儲存位置，放在更大的硬碟空間裡面就行了，非常方便。

問題敘述

之前在建立VDI時的錯誤決定，讓他的實體空間只有8GB，這對於我系統的要求是不夠的。所以得想辦法讓他擴大才行。

HostOS是Windows XP，GuestOS則是Linux CentOS 5 final。

GuestOS的硬碟在一開始安裝CentOS時都被切割成LVM(Logical Volume Manager)格式——而我後來才知道，這真是個麻煩的格式。因此調整大小的步驟就會多了很多繁雜的步驟。

那麼，接下來我就一步一步地去記錄我是怎麼調整VDI大小的吧。

擴大VDI虛擬大小空間

一、取得Clonezilla

VirtualBox並沒有直接擴大VDI的功能，網路上大部分的教學都是使用GPart Live CD來複製硬碟分割。但很遺憾的，GPart沒辦法讀取LVM (是的，真的很煩人)，所以我採用國人自製的自由軟體Clonezilla Live。

• 下載Clonezilla Live，請選擇iso檔案下載，或是下載zip之後解壓縮成為iso。

在VirtualBox當中利用掛載光碟映像檔的方式將Clonezilla掛載上去之後，就可以利用Clonezilla開機來複製硬碟資料。

二、建立新的VDI硬碟

我建立一顆新的VDI硬碟，這次把大小提昇到極限值2TB。然後把舊的8GB VDI硬碟跟2TB VDI硬碟都掛到同一台虛擬機器上。

三、使用Clonezilla複製硬碟

我利用Clonezilla將舊硬碟複製到新硬碟去，細節我沒有特別記錄。但是必須讓它保持原本的分割區，不要放大分割區。因為對LVM來說，放大分割區並沒有意義。整個複製作業大概花了我30分鐘。

複製完成之後關掉虛擬機器，卸載就VDI硬碟跟Clonezilla，再以新硬碟開啟，可以成功啟動。而且利用「fdisk -l」的指令查詢，會發現到除了原本的分割區之外，還有很多空間可以利用。

四、擴大LVM的空間

鳥哥的fdisk跟LVM教學中還蠻詳細的，在此我僅節錄指令步驟：(我的LVM主要空間是「/dev/VolGroup00/LogVol00」，VDI硬碟代號是「/dev/hdb」)

1. 進入fdisk，用「n」新增分割，選擇「p」主分割，編號為「3」(因為我原本系統中1為boot，2為其他空間)，然後指令「w」建立分割並離開。
2. 使用「partprobe」讓核心重新抓取一次硬碟分割表，成功建立第三個分割，代號是「/dev/hdb3」。
3. 用「pvcreate /dev/hdb3」建立新的PV，然後用「pvscan」檢查。
4. 用「vgextend /dev/VolGroup00/LogVol00」來加大VG。
5. 用「vgdisplay」檢查，注意訊息中會有類似「Free  PE / Size       16486 / 2 TB」(正確數字我有點忘了)，那個「16486」就是待會可以新增的空間。
6. 用「lvresize –l + 16486 /dev/VolGroup00/LogVol00」加大空間。
7. 用「resize2fs /dev/VolGroup00/LogVol00」把LV的容量擴大到整個檔案系統可以允許的上限。需要耗費一段時間，此時VDI實際大小也會逐漸加大。
8. 完成後可以用「df -h」來檢查是否有真的擴大了。

到目前為止，儘管VDI的虛擬大小總算擴大到2TB了，但實體大小卻也從7GB增大到23GB。進去虛擬機器中查詢使用量，卻也只有5GB多的用量而已。我猜可能是2TB所需要得區塊量(blocks)比較多，所以也佔去了不少空間。這就跟「買了80G硬碟，實際上可用只有75G」的道理一樣。詳細的原理請回去查查「作業系統」的課本吧。

即使如此，現在VDI的實際大小還是太大了，我們下一節就來談談如何減少VDI的實體大小。

縮小VDI實際檔案大小

VirtualBox的VDI的實際大小似乎是取決於虛擬機器當中動到的區塊量。也就是說，即使你在虛擬機器當中刪除了檔案，但VDI的實際大小並不會因此減少。因此VDI只會越用越多，並不會縮小。

在此有兩種方法可以使用：VirtualBox的VBoxManage提供了「modifyhd」來清除被設為0的區塊以壓縮VDI的實際大小；或用檔案壓縮工具7-zip來減少檔案大小。以下一一介紹作法。

VBoxManage的modifyhd

自由流浪的心靈世界中介紹縮小VirtualBox VDI檔案的作法十分詳細，我參考其他資料之後整理的大致上步驟如下

1. 先刪除虛擬機器裡面不需要的檔案。
2. 安裝「zerofree」這個工具，RPM Search裡面可以找到給Red Hat/CentOS的版本。RPM安裝方法可以參考鳥哥，指令是「rpm –ivh [*.rpm]」。
   安裝完畢之後，可以用「/usr/sbin/zerofree」來使用他
3. 重新啟動虛擬機器，進入CentOS的單機模式(single user mode)。具體作法是開機時按esc進入選單，按e編輯選單內容，再選擇有「kernal」那一項按e編輯開機參數。進入指令列之後再原有指令最後加上「singel」，然後按b開機即可。
4. 執行init 1 (還沒去查這到底是什麼功能)
5. 將硬碟以ro模式掛載：mount -n -o remount,ro -t ext3 /dev/VolGroup00/LogVol00 /
6. 執行zerofree：/usr/sbin/zerofree /dev/VolGroup00/LogVol00。他需要花上好長一段時間來作這個動作，請慢慢等待。
7. 完成zerofree之後關閉虛擬機器。
8. 在HostOS底下執行壓縮指令：VBoxManage modifyhd 你的VDI位置.vdi compact。當然，VBoxManage的執行位置你也要修改成你安裝VirtualBox的位置才行。
   整個壓縮過程大概耗費2小時完成。

完成之後，原本在虛擬機器中刪除檔案所減少的空間，也讓VDI實際大小減少了。

7-zip壓縮

使用modifyhd之後讓VDI的實體大小從23GB減到22GB，但這大小對我來說仍然是過大的負荷。當我架設完虛擬機器而不需要執行時，可以考慮採用7-zip之類的壓縮軟體來壓縮檔案。我選擇使用7-zip Portable，一來這是開放原始碼的自由軟體；二來7-zip可以壓縮超過2GB大小的檔案，而且壓縮比例又很高，儘管比較需要花時間；最後Portable則是不需要安裝即可執行的版本，下載下來馬上就可以使用。

利用7-zip壓縮了22GB的VDI檔案之後，我取得了2GB的壓縮檔，成果讓我非常滿意。

一邊找尋資料、一邊實際操作，然後又來不斷修改這篇Blog。這一篇是我大概一天多的成果，又是一篇用時間跟精力換來的筆記記錄，還好最後有達到我想要的成效，真是可喜可賀。

在VirtualBox建立Ezilla 2.0 Cluster記錄 / Setup Ezilla 2.0 Cluster on VirtualBox

Ezilla是國家高速網路與計算中心發展出來的簡易雲端平台。為了測試安裝過程，我使用VirtualBox建立master跟slave兩台虛擬主機來架設Ezilla。這篇是簡單記錄建立Ezilla Cluster架構的安裝記錄。

Ezilla is developed by National Center for High-Performance Computing for deploying cloud platform. I try to setup Ezilla cluster on VirtualBox. Following is my setup process.

安裝環境 / Installation Environment

跟前一篇安裝Proxmox VE時一樣，這次我也是用VirtualBox 4.2.6來安裝。一開始建立兩台伺服器，命名為master跟slave兩種不同的伺服器角色。

這次安裝的系統是Ezilla v 2.0，帳號設定很多東西跟前一版v1並不相同，安裝時請特別注意到版本的問題。

安裝master虛擬機器 / Install “master” Virtual Machine

因為Ezilla的Linux發行版是CentOS 6.3，所以我安裝時選用RedHat 64bit來安裝。記憶體跟硬碟大小都用預設，但是網路的部份則是設定成「內部網路」，取名為「ezilla」。

安裝Ezilla，設定網路 / Install Ezilla and Setup Network

掛載ezilla-disk-2.0.1-3.iso進行安裝，安裝步驟中只有決定網路設定而已。在這邊要特別注意，網路請用手動設定（Manual configuration）。安裝時的選項如下：

因為master要擔任DHCP的角色，IP的尾碼必須要用254，例如「10.0.0.254」，設定如下圖：

安裝之後master會重開機。第一次開機時還要執行很多安裝腳本，會花相當久的時間。但是第二次之後開機速度就很快了。

增加master網路卡 / Add Network Card for “master”

安裝時讓master主要使用內部網路，可是為了讓其他人能夠開啟Ezilla的網頁管理介面，我們還需要幫master加裝一張網路卡。

我安裝一張NAT網路卡給master，設定如下圖：

因為Ezilla的管理介面是使用9869連接埠，所以我們還要設定連接埠轉遞為9869，如下圖：

設定master網路卡 / Setup Network in “master”

裝了NAT網路卡，master也不會自動把它啟動，這邊還需要額外的軟體設定。

我們先開啟master，然後登入作業系統。

• 登入帳號：root
• 登入密碼：release_v2_master

master跟slave都會用相同的帳號密碼喔。

接著我們用「ifconfig –a | more」來調查NAT網路卡的編號。我們可以從VirtualBox上看到NAT網路卡的MAC碼為「08002759679F」，比對ifconfig列出的網卡（如下圖），我們可以知道NAT網路卡的編號是eth1。

接著編輯以下檔案，注意最後是檔案的編號：

/etc/sysconfig/networking/devices/ifcfg-eth1

設定網卡為DHCP，並將ONBOOT=yes設為開機時自動啟動。全部如下圖：

然後我們用ifup指令開啟eth1：

ifup eth1

這樣子Host OS就能夠連線到master了。

安裝 slave / “slave” Installation

接著我們要準備安裝slave節點，而master還必須多做一點設定。

開啟master的網頁管理介面 / Open “master”’s Web Administration GUI

透過以下網址，我們可以開啟Ezilla的網頁管理介面：

http://localhost:9869/

• 預設登入帳號：oneadmin
• 預設登入密碼：release_v2_ezilla

你可以注意到這裡的帳號密碼跟Linux端的帳號密碼是分開的。

設定slave節點安裝 / Set up Slave Node

進入左邊的「Set up Slave Node」，把Ezilla Auto-Installation Service for Slave node打開到ON。

然後進入Set up Your Slave environment設定。如果要配置長久可運作的雲端架構，請將檔案系統設成MooseFS。

建立slave虛擬機器與自動安裝Ezilla / Create “slave” Virtual Machine and Install Ezilla Automatically

slave的建立跟master都一樣是RedHat 64bit，網路也設成Ezilla內部網路。需要特別注意的是開機順序要把「網路」打勾並調到第一順位，如下圖：

這樣子slave開機的時候，會以網路連線狀態自動去抓取master的Ezilla安裝資訊。slave安裝大概也只要五分鐘不到就可以完成。

完成之後，先不要把slave重開機，我們要先做個動作：

關閉master的slave節點安裝功能 / Disable Slave Node Installation

回到master的網頁管理介面，我們把Ezilla Auto-Installation Service for Slave node關閉成OFF。

這個步驟可以防止slave重開機的時候會再次抓取master的安裝資訊並安裝Ezilla。

關閉slave的網路開機功能 / Disable “slave”’s PXE

接著我們把slave關機，然後關閉開機順序中的「網路」。

因為已經安裝好Ezilla了，slave只要正常開機即可。

slave自動加入到master當中 / Join “slave” to “master”’s Cluster Automatically

最後我們把slave開機。slave會自動抓取master的DHCP來配置網路，然後master也會偵測到slave的加入。

我們可以從master的網頁管理介面中看到slave加入的情況。選取「基礎設施」中的「主機」之後，就可以看到剛剛加入的slave，名稱預設使用IP：10.0.0.3，

因為在VirtualBox中slave沒有能力執行KVM，所以也不能建立任何虛擬機器。到此為止只能算是練習安裝Ezilla而已。

結語：Ezilla好像省略很多控制功能 / Conclusion: Ezilla Hides Many Functions.

為了方便使用者安裝，Ezilla省略了很多原本網管會很在意的功能。像是安裝時的密碼設定，網頁管理介面也需要網路卡的設定。而且Ezilla預設似乎只有一張網卡，所以我這種兩張網卡、一張給slave連線、一張給其他人的網路配置，就需要額外去做設定。

操作介面雖然簡單好用，不過沒能真正架一個KVM來試，到這邊為止也算是白搭。

其他的有機會弄到實體電腦再練習吧。

解決Proxmox VE KVM虛擬機器硬碟與光碟常見問題 / The solution for KVM virtual machine’s hard drive and ISO mount misconfiguration in Proxmox VE

最近我們在大規模地遷移Proxmox VE中的虛擬機器，其中KVM類型的虛擬機器在轉移時常常會遇到許多各種不同的問題，像是硬碟設定或是光碟設定錯誤。我將這些問題的處理方式記錄如下。

When I migrated KVM virtual machines at Proxmox VE, I encountered many problems, such as hard drive or CD/DVD drive misconfigured. This article I describe the solutions for those problems.

硬碟驅動錯誤 / Hard Drive Misconfigured

最常見的就是硬碟驅動配置錯誤。有段時間我常常先在VirtualBox建立虛擬機器，再轉移到Proxmox VE。這種轉移方式通常只是上傳最重要的硬碟映像檔，像是vmdk或是qcow2 (但是在VirtualBox上運作qcow2的效率其差無比就是了)。

從VirtualBox到Proxmox VE的配置 / Configuration From VirtualBox to Proxmox VE

如果只是轉移硬碟映像檔的話，必須特別注意他們的硬碟驅動設定必須一致。如果當初建立的時候使用IDE，在轉移之後建立也就必須使用IDE。

舉例來說，這是VirtualBox的操作介面，你可以看到這台虛擬機器的硬碟是被設定成SATA。

但是在Proxmox VE上，這臺虛擬機器的硬碟卻被設成了IDE。在Windows XP或是Linux卻使用LVM的情況下，往往會造成開機失敗。

因此，在建立虛擬機器的硬碟時，必須特別注意其使用的硬碟驅動器。

解決方式：修改硬碟控制器 / Solution: Modify Hard Drive Controller

如果你已經將硬碟安裝成錯誤的硬碟驅動器，那Proxmox VE網頁介面上是無法直接修改。我建議是使用SFTP直接操作伺服器的檔案系統，作法如下：

1. 先以正確的硬碟驅動器新增一個硬碟映像檔，檔案大小不拘。
2. 以SSH登入Proxmox VE：預設連接埠22。
3. 進入KVM的硬碟擺放位置：以VMID為260的虛擬機器為例，路徑位置就是/var/lib/vz/images/260
4. 新建立的硬碟映像檔檔名通常會是「vm-260-disk-2.vmdk」，而用錯誤方式建立的硬碟映像檔通常會是「vm-260-disk-1.vmdk」。
5. 記住新映像檔檔名，把新的硬碟映像檔刪除，再把舊的硬碟映像檔換個名字
6. 回到Proxmox VE網頁介面，刪除舊硬碟映像檔的設定，只留下新建立正確的硬碟設定

這樣就完成了。

CD/DVD光碟掛載錯誤 / CD/DVD Drive ISO Mount Misconfigured

前一種情況大多是只轉移硬碟映像檔的時候，這一種情況則是使用Proxmox VE的備份功能vzdump匯出虛擬機器之後、再匯入新的Proxmox VE的情況。細節作法可以看我寫的另一篇「Proxmox VE用備份(vzdump)與還原(restore)複製虛擬機器」。

使用vzdump的時候，虛擬機器的設定會鉅細靡遺地被保留，並還原到新的虛擬機器環境中。問題是在於新的環境中可能使用的Storage ID（儲存空間名稱）不一樣，就會導致無法正常開機的問題。

以上圖為例，當Storage設定錯誤時，發生錯誤訊息就會是：

TASK ERROR: storage 'proxmox-nas' does not exists

這是因為這個Proxmox VE虛擬機器環境下沒有名為「proxmox-nas」的Storage的緣故。

解決方式：取消掛載映像檔 / Solution: Unmount ISO

解決方式很簡單，就是把掛載的映像檔取消掉就好了。

1. 指定該硬碟，按下Edit
2. 設定Do not use any media，或是重新掛載正確的ISO映像檔，按下OK即可

這個問題警惕了我們，如果虛擬機器設定完畢之後，記得取消掛載安裝時使用的映像檔設定。

結論：不要害怕使用虛擬機器 / Conclusion: Embrace Virtual Machine

每次遇到虛擬機器的各種問題，我常常聽到的抱怨都是：「為什麼要用這種東西？你就不能裝在實體機器上嗎？」就我個人來看，這種抱怨是一種誤解。

如果你仔細看看這篇敘述的兩種問題，其實是很容易類比到實體機器上──就像是拿著SATA線去接一顆IDE硬碟，或是在光碟機裡面指定放進一片不存在的光碟。儘管實體機器操作中，有些常識的網管可能不會卡在這麼奇怪的問題上，但這的確是可以從實體機器類推到虛擬機器上的情況。

我想說的是，其實虛擬機器的設定跟實體機器沒有這麼大的差別，但比實體機器設定更為容易。以硬碟控制器的問題來說，實體機器的情況可能是一顆舊的IDE硬碟要裝到新的伺服器上，如果伺服器只剩下SATA線，那要裝IDE硬碟還必須搭配張SATA to IDE的轉接卡才能使用，安裝時還得考量到轉接卡阻礙線材空間等問題，處理起來挺費工夫的。但是虛擬機器只要設定幾項參數即可完成調整，方便許多。

虛擬機器除了有助於網管之外，快速還原的能力還能夠用於程式開發上。在「成为一个PHP专家：缺失的环节」一文中建議PHP時使用虛擬機器建立個Linux，以方便隨時重新開始或還原到程式開發的某個狀態。這些都是非常有用的功能。

因此，我會對VirtualBox、Proxmox VE、OpenVZ、KVM等多種開放自由的技術抱持最高的敬意，並繼續擁抱虛擬機器。