#頭條創(chuàng)作挑戰(zhàn)賽#

歡迎來到覺悟之坡AI繪畫教學(xué)系列之第33篇。

（三上Yua老師平行世界作品-by Stable diffusion）

（三上Yua老師平行世界作品-by Stable diffusion）

之前發(fā)布過2篇?jiǎng)勇挼そ坛蹋褂玫亩际乔锶~lora script 訓(xùn)練包。主要訓(xùn)練二次元?jiǎng)勇宋铮€是蠻好用的。

但在實(shí)際上，我們除了訓(xùn)練二次元人物之外，也常常要訓(xùn)練三次元人物。

比如福利姬老師可以訓(xùn)練自己然后穿上各種美美的衣服來拍照，減少自己的日常工作量。

我們也可以訓(xùn)練模特人物之后，獲得自己的AI模特(注意，商用需授權(quán))。

還有的女生，也有用自己照片訓(xùn)練自己的lora，可以讓這個(gè)電子替身在賽博世界，替自己穿上美美的衣服，去各種地方，還能保留自己最美的年華和最好的樣子。

總之，三次元煉丹還是有蠻多應(yīng)用場景的。

但是，三次元煉丹比二次元煉丹相對(duì)要復(fù)雜一些（難一些），因?yàn)槿卧锩娴娜宋?，是三維的，比二次元人物多一維，也就代表著機(jī)器需要學(xué)習(xí)更多數(shù)據(jù)才能學(xué)會(huì)你的人物特征，也意味著如果有一點(diǎn)沒學(xué)會(huì)或者沒學(xué)對(duì)，都會(huì)讓你的人物訓(xùn)練功虧一簣（不像，崩圖，泛化性差等）。

下面，給大家分享一下我們這邊的煉丹經(jīng)驗(yàn)和步驟吧。

1.下載訓(xùn)練包

（1）下載星空大佬（獨(dú)立研究員-星空）的lora訓(xùn)練包，大概2.8G

https://pan.baidu.com/s/13bitXRlVRlcZrbo0s_lF0w?pwd=dpmt

下載完解壓。記得路徑里面不要有中文。

2.安裝python3.10版本

（如果你電腦已經(jīng)有python3.10的其他版本，也可以不用安裝。如果非3.10，則要安裝一下3.10）

（1）官方下載地址
https://www.python.org/downloads/release/python-3108/

（2）下載安裝python

記得勾選path再點(diǎn)擊install now，后面就是按默認(rèn)的選項(xiàng)即可。

裝好之后，開始菜單打開cmd命令提示符，輸入python，可以看到版本號(hào)說明安裝好了。

3. PowerShell 管理員模式打開 執(zhí)行Set-ExecutionPolicy Unrestricted

（1）開始菜單輸入powershell，用管理員身份運(yùn)行

（2）輸入Set-ExecutionPolicy Unrestricted并回車，如果提示y/n則輸入y再回車。沒提示就不用管。

4.安裝環(huán)境依賴

右鍵單擊訓(xùn)練包里面的install.ps1，選擇用powershell運(yùn)行。

等待他安裝完畢。如果安裝中間報(bào)錯(cuò)。則關(guān)掉這個(gè)install.ps1的黑色小窗重新右鍵單擊install.ps1用powershell運(yùn)行，以再次執(zhí)行安裝。

安裝完成后，他會(huì)顯示下面菜單。

可以通過數(shù)字按鍵來選擇選項(xiàng)，0是第一個(gè)選項(xiàng)，1是第二個(gè)選項(xiàng)，以此類推。選好按回車確認(rèn)。

建議按照以下選擇來設(shè)置：

This machine（本機(jī)）

No distributed training（非分布式訓(xùn)練）

No

Yes

Inductor

yes

5.準(zhǔn)備訓(xùn)練集（圖片素材）

下面就以我們熟悉的三上Yua老師為例，來準(zhǔn)備素材吧。

（1）準(zhǔn)備好合適的照片集合，建議準(zhǔn)備50張以上的照片素材，且分辨率需要是你目標(biāo)訓(xùn)練分辨率的2倍以上（比如你想訓(xùn)練512x512的，那素材至少1024x1024），方便后續(xù)裁剪和加工。不要少于30張。要有不同的角度。不能都是正臉大頭照。

注意：

臉部有遮擋的不要（比如麥克風(fēng)，手指，雜物等），

背景太復(fù)雜的不要（比如廣告板，上面一堆字，或者夜市背景太亂）

分辨率太低的不要（目標(biāo)分辨率2倍以下的不要，方便裁切），

光影比較特殊的不要（比如暗光，背光等）。

不像本人特征的不要（比如大部分訓(xùn)練集都是長發(fā)，那么短發(fā)顯臉大的不要）

化妝太濃重的，美顏太嚴(yán)重的不要。

（2）把圖像裁剪成合適大小。

訓(xùn)練真人建議至少裁剪成512*768，如果顯存夠大，最好裁剪成1024像素以上。（圖像越大，訓(xùn)練速度越慢，顯存占用越高）

三種裁剪方法，從快而不精確到慢而精確的方法依次是：

a)用webui的圖像預(yù)處理（preprocesser）自動(dòng)裁剪（見后面打標(biāo)部分）。

b)用https://www.birme.net/之類的圖像批處理軟件裁剪。

c)用photoshop，美圖秀秀之類的軟件手動(dòng)裁剪圖像。

6.Tag打標(biāo)和tag整理

（1）在stable diffusion webui的train(訓(xùn)練)-preprocess images（圖片預(yù)處理）下面，輸入你裁剪后的圖片地址和輸出結(jié)果地址。

下面輸入圖片尺寸（或者你想裁剪成的圖片尺寸。上面說的裁剪圖片最懶最快的方法就是這里）。

接著選擇split和use deepbooru for caption。

再點(diǎn)擊preprocess開始對(duì)圖片進(jìn)行處理。

預(yù)處理完，你會(huì)發(fā)現(xiàn)目標(biāo)文件夾里面每個(gè)圖片旁邊出現(xiàn)了一個(gè)txt文件，打開一看，里面是每張圖片的tag（標(biāo)簽）

（2）整理每個(gè)圖片的標(biāo)簽，每個(gè)圖片對(duì)應(yīng)的標(biāo)簽第一句加上你要訓(xùn)練的trigger word（觸發(fā)詞），比如我要叫做sanshangyua，就打開每一個(gè)tag文件（txt）文件，在最前面加入sanshangyua這個(gè)關(guān)鍵詞。

這一步可以使用BooruDatasetTagManager 之類的tag管理工具批量處理提升效率。（
https://github.com/starik222/BooruDatasetTagManager/releases）

部分專屬人物特征需要從tag里面刪除。

部分tag里面沒體現(xiàn)的重要場景可以手工補(bǔ)充tag。也可以用類似tagger之類的工具再跑一次tag來優(yōu)化。

7.設(shè)置訓(xùn)練文件夾

訓(xùn)練包里面新建一個(gè)train文件夾，里面放上你要訓(xùn)練的trigger word建一個(gè)文件夾。比如我就建一個(gè)sanshangyua文件夾，下面再建一個(gè)10_sanshangyua文件夾，里面放入剛剛處理完的圖片文件和tag文件。

8.設(shè)置訓(xùn)練參數(shù)并開始訓(xùn)練。

（1）右鍵點(diǎn)擊并用powershell運(yùn)行訓(xùn)練包里面的run.ps1文件

（2）根據(jù)運(yùn)行結(jié)果把提示的地址放瀏覽器地址欄打開

（2）選擇訓(xùn)練基礎(chǔ)模型，建議使用sd1.5或者chilloutmix系列模型。

（3）設(shè)置訓(xùn)練集地址和輸出地址以及訓(xùn)練的lora名字

（4）打開訓(xùn)練參數(shù)（training paramenters）頁面設(shè)置訓(xùn)練參數(shù)，沒有標(biāo)注的參數(shù)新手請按默認(rèn)值。老手可以調(diào)著玩。

（5）訓(xùn)練參數(shù)-高級(jí)設(shè)置，use 8bit adam的勾記得去掉。其他的基本不用動(dòng)。然后點(diǎn)擊最下面的開始訓(xùn)練。

（注意，我這768x1152的分辨率在執(zhí)行的時(shí)候報(bào)錯(cuò)了，顯示說 assert max(resolution) <= max_bucket_reso，然后我把Enable buckets的勾去掉了就能正常運(yùn)行。大家如果也報(bào)錯(cuò)分辨率相關(guān)問題，建議使用512*512或者512*768的經(jīng)典分辨率，相對(duì)不容易出錯(cuò)。）

（6）等待訓(xùn)練結(jié)束

訓(xùn)練完成，接著可以去output文件夾找到相關(guān)的文件，
sanshangyua-xxxx.safetensors就是我們的訓(xùn)練成果。

我分辨率比較大，訓(xùn)練了20輪，所以時(shí)間比較長，花了五個(gè)多小時(shí)。

大家如果圖片分辨率小一些比如512x512，20-30張圖片，20輪，大概1小時(shí)左右。如果顯卡更好速度會(huì)更快。

9.訓(xùn)練測試

（1）把output文件夾中生成的幾個(gè)safetensors文件，放到
stable-diffusion-webui-old\extensions\
sd-webui-additional-networks\models\lora文件夾里面。（注意，需要提前下載安裝
sd-webui-additional-networks插件。）

（2）設(shè)置測試prompt參數(shù)

測試prompt這里有3個(gè)注意點(diǎn)，

a)基礎(chǔ)模型要使用你的訓(xùn)練模型，比如你用的sd1.5或chilloutmix系列，那么你測試畫圖時(shí)要用的基礎(chǔ)模型最后也用sd1.5或者chilloutmix系列基礎(chǔ)模型。

b)記得在prompt區(qū)域加上你的trigger word觸發(fā)詞，比如我的是sanshangyua。Prompt區(qū)域還要加一個(gè)人物本來沒有的特征，比如白發(fā)。以便測試泛用性。

c)本身因?yàn)槲矣?xùn)練集的圖片是1:1.5的，因此出圖比例我也寫1:1.5的512x768

（泛用性指的是，你訓(xùn)練的lora模型能否和其他模型很好的結(jié)合和拓展，比如你用chilloutmix訓(xùn)練的，那么用ralistic version模型能否跑出好圖。比如換衣服是否自然順暢，比如是否能自然順暢出全身照等（前提是你沒有訓(xùn)練全身照）。）

（3）設(shè)置xyz參數(shù)

a) additional networks隨便選一個(gè)lora，激活additional networks插件。

b）設(shè)置xyz參數(shù)

x軸設(shè)置為 addnet model 1，然后點(diǎn)擊小黃筆記本，自動(dòng)引入所有l(wèi)ora文件名。

Y軸設(shè)置為 addnet weight1，然后輸入0.6-1.

設(shè)置xy讓系統(tǒng)自動(dòng)用不同的lora分別以0.6-1的權(quán)重跑prompt指令。

c）等待xyz出結(jié)果

10.對(duì)比結(jié)果，篩選表現(xiàn)好的lora進(jìn)一步測試或回爐重造

（1）通過xyz對(duì)比圖，看哪一個(gè)訓(xùn)練結(jié)果表現(xiàn)最好，最像的同時(shí)泛化性最好。

如果沒有則回去調(diào)整訓(xùn)練參數(shù)重新訓(xùn)練。如果調(diào)整訓(xùn)練參數(shù)沒用的話大概率是訓(xùn)練集問題，重新收集整理裁剪訓(xùn)練集，并優(yōu)化tag。

（2）如果有表現(xiàn)比較好的lora，則復(fù)制出來，放到
stable-diffusion-webui/models/lora文件夾下面。隨機(jī)跑幾張圖再測試一下，沒問題就修改lora名稱，刪掉多余l(xiāng)ora，方便后續(xù)使用。

（3）*可選 如果有又像又不像的，可以把對(duì)應(yīng)lora拉出來，再去重復(fù)訓(xùn)練一次，epoch設(shè)置5，每1 epoch保存一次。再優(yōu)中選優(yōu)。但是最好不要重復(fù)訓(xùn)練太多次，否則容易過擬合，要么圖像崩壞，要么泛化性非常差。

（4）記錄訓(xùn)練參數(shù)，數(shù)據(jù)，測試數(shù)據(jù)，便于下一次迭代。

答疑：

1.之前都是推薦用秋葉的訓(xùn)練包，現(xiàn)在怎么用星空的訓(xùn)練包？

秋葉的訓(xùn)練包我發(fā)布過線上線下版，因此這次換一個(gè)訓(xùn)練包，讓大家多一個(gè)選擇。（而且星空這個(gè)訓(xùn)練包其實(shí)底層是github上面一個(gè)很流行的lora訓(xùn)練項(xiàng)目kohya_gui
https://github.com/bmaltais/kohya_ss的漢化增強(qiáng)版）。

各lora訓(xùn)練包的用法其實(shí)差不太多，主要參數(shù)也還是那幾個(gè)。

另外，秋葉訓(xùn)練包提示triton報(bào)錯(cuò)不用管，正常，但是如果提示找不到其他包/模型，那么就需要點(diǎn)多幾次install確保環(huán)境依賴安裝完整。

2.本文的方法可以用于訓(xùn)練動(dòng)漫人物嗎？

可以。但訓(xùn)練動(dòng)漫可以不需要這么多圖片，有些訓(xùn)練參數(shù)也可以優(yōu)化。可以參考我之前的lora篇教程。

3.訓(xùn)練模型對(duì)硬件有什么要求

建議顯存8G以上，低于8G容易訓(xùn)練失敗。實(shí)在不行可以用線上版訓(xùn)練。

最后提醒，訓(xùn)練自己的照片請注意保管好訓(xùn)練成果，不要泄露你的Lora，避免引來不必要的麻煩。訓(xùn)練他人照片尤其是商用請先獲得授權(quán)，否則有侵權(quán)法律風(fēng)險(xiǎn)。

好了，大家都學(xué)會(huì)了嗎？學(xué)會(huì)了記得點(diǎn)贊關(guān)注在看三連哦~

如果不會(huì)，有問題也可以私。

那么今天的課，先上到這里吧，下次再見，下課！

<End>

歷史教程文集，請查看AI繪畫教章合集

關(guān)注我們，更多有用又有趣的AI繪圖技能知識(shí)持續(xù)更新中~