修復Proxmox VE Cluster無法備份的問題 / Repair Proxmox VE Cluster cannot backup problem
最近我處理的Proxmox VE因為Cluster眾多功能異常，導致很多功能都無法正常使用。這次遇到的問題是備份時被鎖住的問題，解決方法是重新啟動Proxmox VE所有的服務，然後將該節點設為expected。
When Proxmox VE Cluster cannot work properly, the backup function maybe disabled, due to permission is locked to read-only. This article describes how to repair this problem.
錯誤訊息 / Error Message
我在node（Proxmox VE Cluster中運作的一台伺服器，稱為node）名為「proxmox-master-c」為KVM類型的VMID 260虛擬機器進行備份。遇到的錯誤如下：
INFO: starting new backup job: vzdump 260 --remove 0 --mode snapshot --compress gzip --storage <STORAGE ID> --node <NODE>
INFO: Starting Backup of VM 260 (qemu)
INFO: status = stopped
INFO: update VM 260: -lock backup
INFO: unable to open file '/etc/pve/nodes/proxmox-master-c/qemu-server/260.conf.tmp.3682' - Permission denied
ERROR: Backup of VM 260 failed - command 'qm set 260 --lock backup' failed: exit code 2
INFO: Backup job finished with errors
TASK ERROR: job errors 關鍵在於紅字的地方。要備份時，Proxmox VE會寫一個暫存檔在虛擬機器設定檔的目錄，但是錯誤訊息顯示該目錄有權限問題，只能讀取不能寫入(read-only)。
為什麼被設定成只能讀取的權限了 / Why Permission is Read-only Permission?
這是因為Proxmox VE加入了Cluster中，並啟用了Proxmox Cluster file system (pmxcfs)。pmxcfs的特色其中有一項：
read-only when a node looses quorum
意思是，當Proxmox VE運作喪失了quorum元件時，Proxmox VE節點的虛擬機器設定會被轉換成read-only。儘管虛擬機器本身是可以正常運作的，但是卻不能進行任何設定，包括備份。因為權限備份被鎖起來了。
而這個問題另一篇Wiki中有敘述。簡單來說，因為Cluster異常，quorum無法順利讀取，讓整個Cluster中的node彼此之間無法正常連線，導致每個node都只能看到自己的運作狀態，這時候node就會自動鎖起來。
警告 / Warning
以下方法是我摸索解決方案的一個過程，很多細節我不清楚，有幾台node可以如此解決，可是有幾台不行。我還沒有了解整個原因細節，在此只是記錄一下目前的解決方法。
Wiki的解決方式 / The solution from Wiki
根據wiki的介紹，最簡單的方式是在有問題的node上輸入指令：
# pvecm expected 1
但是當我要這樣做的時候，卻又有另一個錯誤訊息發生，告訴我cman並沒有正常啟動。我嘗試想要用「service cman start」，但是卻依然不能執行「pvecm expected 1」。
我的解決方式 / My solution
因此我決定參考Re-installing a cluster node的方法，先關掉所有相關服務，再開啟相關服務，最後再執行expected指令。我將這些指令建置成了expected.sh，可以從GitHub上下載，檔案內容細節如下：
#!/bin/sh
service pvestatd stop
service pvedaemon stop
service cman stop
service pve-cluster stop
service pve-cluster start
service cman start
service pvedaemon start
service pvestatd start
pvecm expected 1 執行的時候依然會遇到很多問題，quorum等待過時(time-out)的問題依然沒有改變，如下圖：
儘管如此，執行完之後，有一定機率可以正常啟用整個Cluster。
其他注意事項 / Other Note
說是一定機率的原因是，有時候可能要重開機之後再執行一次expected.sh。但是這不一定每次都會成功，我試了好幾台，結果都不一樣。必須注意的是，重開機之後，虛擬機器不會正常地Start on boot，需要手動開啟。
其中有幾台因為網路交換器出了問題（ASUS的，真是堅若磐石）而導致quorum無法正常運作。更換交換器之後就正常運作了。
目前我手邊已經沒有需要做這樣修復的node，所以我接下來就不會繼續深入探究了。就做到這邊吧。
