VAE:讓Stable Diffusion的顏色看起來更加鮮豔 / VAE: Brighten colors of Images in Stable Diffusion
記得要將VAE設定為「vae-ft-mse-840000-ema-pruned.ckpt」或「kl-f8-anime2.ckpt」。
未使用VAE產生圖片 / Generate an image without VAE
最近想來試試看GhostMix這個模型。它的範例圖片總是能產出鮮豔且令人印象深刻的畫面,我也想產生這種圖片。
結果套用它的參數所產生的結果...怎麼灰濛濛的呢?
其實我從很久以前用AOM3的時候就有這個問題了。為什麼大家的圖片看起來顏色都這麼鮮豔,我自己做的圖片卻是看起來非常樸素、老舊的感覺呢?
套用VAE / Apply VAE
https://civitai.com/models/36520/ghostmix
其實GhostMix作者的說明中提到需要使用到VAE。這兩種VAE各別是:
- kl-f8-anime2:產生的圖片比較多大色塊。
https://civitai.com/models/23906/kl-f8-anime2-vae - vae-ft-mse-840000-ema-pruned:產生的圖片比較細緻。
https://huggingface.co/stabilityai/sd-vae-ft-mse-original/blob/main/vae-ft-mse-840000-ema-pruned.ckpt
除此之外還有其他種VAE可供使用:
- orangemix.vae.pt:
https://huggingface.co/WarriorMama777/OrangeMixs/blob/main/VAEs/orangemix.vae.pt - anything-v4.0.vae.pt:
https://huggingface.co/andite/anything-v4.0/blob/main/anything-v4.0.vae.pt
將VAE下載到Stable Diffusion裡面有個名為「VAE」的資料夾即可。我用的是Stable Diffusion Web UI Docker,路徑名稱跟一般教學不太一樣,這邊就請大家自行摸索了。
接著回到Stable Diffusion Web UI,按照以下步驟設定VAE:
- 從上方頁籤進入Settings。
- 從左方分頁進入Stable Diffusion。
- 找到SD VAE,預設是Automatics,請選擇需要使用的VAE即可。如果沒看到你剛剛下載的VAE,可以按右邊的重新讀取按鈕,下拉選單就會重新載入。
- 按下Apply settings。等待一陣子,讓SD載入後,就可以來產生圖片了。
https://github.com/AUTOMATIC1111/stable-diffusion-webui/issues/2674
不過我也看到有些Stable Diffusion Web UI能夠直接在上方選擇VAE,這是怎麼做到的呢?
結果比較 / Results
接下來我們來看看套用VAE前後的結果。
上面兩張圖是將VAE用預設值Automatics,一張是用GhostMix產生,另一張是abyssorangemix3AOM3_aom3a1b。不論是那個模型,看起來畫面都偏暗。
上面這兩張圖是套用了vae-ft-mse-840000-ema-pruned.ckpt的結果。可以看到畫面顏色變得鮮豔許多。如果覺得圖片鮮豔過頭了,不妨可以換一個VAE看看,也許會得到不錯的效果。
文章最後的問題是:使用AI產生圖片時,你喜歡樸素的顏色呢?還是鮮豔的顏色呢?
下面留言喔!