修復Proxmox VE：節點全部離線 / Fix Proxmox VE: All Nodes Offline

6月 08, 2016 OS/Proxmox VE , Proxmox 1 Comments Edit Copy Download

本篇是修復Proxmox VE的集叢(Cluster)中全部節點都變成「離線」狀態，而且重新啟動CMAN的時候還會卡在「Unmounting configfs...」的錯誤。這個錯誤是因為掛載的儲存裝置NAS無法正常連線的問題。確保NAS正常運作之後，所有節點就會恢復正常。以下說明造成錯誤的原因以及解決方法。

This article aims to solve the problem that all nodes of Proxmox VE Cluster are offline (but still can be connected). When restarting CMAN service, it was hang on the message “Unmounting configfs...” and stopped to restart. The cause of this problem is that Proxmox Cluster’s storage, NAS, is not work. Proxmox Cluster can be restored after resuming NAS again. Following I will discribe the problem and the solution.

問題狀況 / Problem Description

有時候會發現Proxmox VE叢集(Cluster)中的所有節點(Node)都變成離線狀態的紅燈，這時候將會無法從網頁端來控制任何一臺節點。而任務(Tasks )最後就卡在「備份」(backup)的動作。奇怪的是，虛擬機器其實都正常運作、網路可以正常連線，而且我們也可以用SSH連線登入Proxmox VE的節點。

但是一旦嘗試重新啟動節點，最後總是會卡在以下訊息：

這到底是什麼問題呢？

問題原因 / Causes of Problem

Proxmox VE論壇當中RodinM跟我有相同的問題，最後發現原因竟然是NAS無法正常運作的關係。

上圖是已經修復之後的截圖。我們可以看到NAS的Active狀態已經是Yes，這樣才是正常運作的狀態。

原本在全部節點都離線的狀態下，我們的確是不能看到NAS的狀態。如果將節點逐一重開機的話，這時候就會發現節點雖然恢復成上線的狀態，但是NAS的Active卻會顯示「No」，這時候就可以看出是NAS的問題。

解決方法 / Solution

既然知道NAS有問題，接著我改檢查NAS看看問題在哪裡。這次似乎是因為一些節點備份到一半就當機，讓NAS卡在那邊不能正常運作。我乾脆這時候重新啟動NAS，讓NAS自己修復資料毀損問題，直到進入正常開機完成的畫面。

再回來查看Proxmox VE的時候，就會發現所有節點都恢復正常了。

補充處理方法

(寫於2016/8/16)

有時候重新啟動NAS並不能立刻讓node都恢復正常上線，但只要等待半天左右即可。我昨晚把NAS重開之後，過了12個小時左右，大部分節點(node)才變成正常上線的綠色。

但是有些節點並沒有正常上線，這時候我們可以手動重新啟動pve-cluster。做法如下：

1. 登入Proxmox VE，從可以連線的節點中開啟「Shell」。
2. 以「ssh <IP位址>」指令登入無法正常運作的節點。例如：ssh 192.168.1.203。
3. 執行「service pve-cluster restart」重新啟動Proxmox VE叢集。
   
4. 如果出現錯誤訊息，則請再重新執行一次同樣指令。直到出現「Restarting pve cluster filesystem: pve-cluster」這樣才算正常。

至此為止，原本紅色未上線的節點就會轉換成綠色節點了。

不管怎麼說，這個問題都是因為NAS不夠穩定的關係。確保NAS的穩定才能夠讓Proxmox VE叢集正常運作啊。