在最近這一波 AIGC 熱中，文本生成領(lǐng)域ChatGPT 獨(dú)領(lǐng)風(fēng)騷，圖片生成領(lǐng)域就要數(shù)Midjourney比較耀眼了。然而使用Midjourney有比較高的成本，Stable Diffusion便可以作為MJ的低成本替代方案，可以本地部署，在自己的電腦上便可以生成想要的精美AI圖片。本文將重點(diǎn)教大家如何在本地部署一套SD模型。

前言

1. SD是什么？

Stable diffusion是一個(gè)基于Latent Diffusion Models(潛在擴(kuò)散模型,LDMs)的文圖生成(text-to-image)模型。

2. Civitai是什么？

Civitai專注于穩(wěn)定擴(kuò)散（Stable Diffusion）AI藝術(shù)模型。Civitai是一個(gè)讓人們可以輕松分享和發(fā)現(xiàn)AI藝術(shù)創(chuàng)作資源的平臺(tái)。平臺(tái)用戶可以上傳和共享他們使用自己的數(shù)據(jù)訓(xùn)練的AI生成自定義模型，或者瀏覽和下載其他用戶創(chuàng)建的模型。然后可以將這些模型與AI藝術(shù)軟件一起使用，以生成獨(dú)特的藝術(shù)作品。

打開網(wǎng)站后，上面都是生成AI圖片的模型和生成的圖片示例，如下圖：

網(wǎng)址：https://civitai.com/

環(huán)境部署

第一步：

首先在github上搜索stable-diffusion可以看到返回的結(jié)果排在最上面的stable-diffusion-webui就是SD模型的web-ui版本。

第二步：

進(jìn)入https://github.com/AUTOMATIC1111/stable-diffusion-webui頁面，可以看到不同環(huán)境的安裝步驟：

windows安裝版本

linux版本

mac機(jī)器上的安裝方式參考linux版本即可，按照?qǐng)D中命令步驟安裝即可。

可能會(huì)遇到的問題

1.在安裝過程中可能會(huì)出現(xiàn)"RuntimeError: Couldn't install gfpgan"以及“RuntimeError: Couldn't install XXX”等問題，這時(shí)候去github上下載XXX的代碼然后手動(dòng)安裝即可。

解決方式可以參考 ：
https://blog.csdn.net/weixin_40735291/article/details/129153398。[1]

2.在mac上安裝可能會(huì)出現(xiàn)：

stable diffusion webui RuntimeError: "LayerNormKernelImpl" not implemented for 'Half'

解決辦法：可通過在bat文件或sh文件中修改此命令解決：set COMMANDLINE_ARGS= --skip-torch-cuda-test --precision full --no-half

注意：安裝完之后先不要運(yùn)行，項(xiàng)目需要在啟動(dòng)階段加載一個(gè)模型否則啟動(dòng)不了。

啟動(dòng)&拓展

我們?nèi)ivitai上找一下自己喜歡的模型（注意：需要支持本地布署），然后下載下來，導(dǎo)入到webui中。

首先，我選用的基礎(chǔ)模型是 https://civitai.com/models/6424/chilloutmix ，這個(gè)模型擅長(zhǎng)于生成亞洲女性特征的圖片。

其次，選擇一個(gè)自己順眼的 LORA 訓(xùn)練模型。LoRA（Low-Rank Adaptation of Large Language Models）粗略地講就是利用少量的圖像來對(duì) AI 進(jìn)行額外學(xué)習(xí)訓(xùn)練，并在一定程度上控制結(jié)果。

流程上也比較簡(jiǎn)單，就是基于 ChilloutMix 的訓(xùn)練結(jié)果和你自己準(zhǔn)備的數(shù)據(jù)集來進(jìn)行二次訓(xùn)練，目的是最終輸出的內(nèi)容既具有原始 ChilloutMix 的能力，又更傾向你提供的數(shù)據(jù)的特征。

第一步：

chilloutmix模型（https://civitai.com/models/6424/chilloutmix）：

在 ChilloutMix 頁面右側(cè)找到下載按鈕，取得下載地址后在服務(wù)器上進(jìn)行下載，模型大小 3.97GB 大概幾分鐘時(shí)間可以下載好，下載好的模型請(qǐng)放置在stable-diffusion-webui 項(xiàng)目下的 models/Stable-diffusion/ 目錄下，并確認(rèn)下載好的文件名結(jié)尾為 .ckpt。

第二步：

Lora模型（我選擇的是：https://civitai.com/models/11722/iu）：

注意：首選我們要確認(rèn)這個(gè)模型是支持Local布署的：

同樣地下載模型，并放置在 models/Lora/ 目錄下，也請(qǐng)確認(rèn)擴(kuò)展名為 .safetensors。

模型都下載好后，就可以運(yùn)行 webui.sh 啟動(dòng)軟件了。啟動(dòng)起來的服務(wù)監(jiān)聽在 127.0.0.1，當(dāng)你看到如下提示時(shí)就代表啟動(dòng)成功了：

Running on local URL: http://127.0.0.1:7860

啟動(dòng)webui后，在瀏覽器中輸入http://127.0.0.1:7860/可打開sd ui的web界面。

導(dǎo)入插件

在瀏覽器中打開相應(yīng)地址，切換到 Extensions 標(biāo)簽頁面的 Install from URL，并輸入 https://github.com/civitai/sd_civitai_extension 點(diǎn)擊 Install 安裝 CivitAI 提供的插件，安裝成功后切換回 Installed 頁面點(diǎn)擊 Apply and restart UI 重新加載。

開始生成圖片

第一步：確認(rèn)左上角已經(jīng)加載了 ChilloutMix 模型。

第二步：在右側(cè)找到這個(gè)按鈕，點(diǎn)擊之后左側(cè)會(huì)展開一些新的元素

第三步：在左側(cè)展開的標(biāo)簽中點(diǎn)擊 Lora，可以看到剛安裝的模型，選擇其中一個(gè)后在text2img欄會(huì)發(fā)現(xiàn)prompt 中自動(dòng)多了一行代表在使用的模型的文字，在后面輸入prompt即可。

注意：這里的prompt可以去官方頁面的官方樣例或回復(fù)中別人生成的樣例中點(diǎn)擊一張你喜歡的風(fēng)格的圖片，看看哪張圖片是用什么關(guān)鍵詞生成的，例如下面這張：

此處 Prompt 代表你想要生成的元素，而 Negative prompt 代表你想要避免出現(xiàn)的元素，我們就先復(fù)制這張圖片的參數(shù)進(jìn)行生成。

注意：因?yàn)槭褂玫哪Ｐ涂赡懿煌瑥?fù)制時(shí)候要注意不要全復(fù)制了，從模型文件后面開始復(fù)制。

除了prompt之外，還有一些其他參數(shù)可以嘗試調(diào)整，想要生成一張精美的圖片，這可能需要一個(gè)要不斷優(yōu)化調(diào)整的過程。

Prompt

掌握了這些技巧大家就可以生成自己喜歡的圖片了，但是可能會(huì)發(fā)現(xiàn)其中有一個(gè)點(diǎn)很困難，就是初學(xué)者如何選擇 prompt。AI 從業(yè)者會(huì)形象地將 prompt 和 negative prompt 稱為「咒語」并將這種生成過程稱為「咒語吟唱」。你的吟唱越精確，咒語細(xì)節(jié)越多，最終生成的圖片就越符合你的想象。

可以訪問 https://prompthero.com/ 在頂部菜單選擇 Stable Diffusion，在搜索框中輸入 girl 關(guān)鍵詞（或者任何你想要的關(guān)鍵詞），在搜索結(jié)果中找到自己喜歡的風(fēng)格，就可以復(fù)制這張圖片的 prompt 進(jìn)行嘗試了。類似的網(wǎng)站有很多大家可以自行找一下。當(dāng)然在 CivitAI 上去找 prompt 也是很好的方式。

使用 ChatGPT 進(jìn)行關(guān)鍵詞生成也是很好的方式，特別是對(duì)英文表示很好的朋友會(huì)很有幫助，請(qǐng) ChatGPT 幫助你去生成你想要的 prompt。

如果你有想要模仿風(fēng)格的照片，也可以把這張照片傳進(jìn) clip interrogator 中，這個(gè) AI 會(huì)幫助你提取關(guān)鍵詞。很多人都自己實(shí)現(xiàn)了 clip interrogator，你也可以用這個(gè)網(wǎng)站直接使用。

此處參考了這篇文章：https://medium.com/@croath/%E4%BD%8E%E6%88%90%E6%9C%AC%E4%BD%93%E9%AA%8C%E7%94%9F%E6%88%90-ai-%E5%B0%8F%E5%A7%90%E5%A7%90%E7%85%A7%E7%89%87-85ffa7c13cd7

展示幾張Civitai上生成的比較好的圖片

最后

如果本地電腦 CPU/CPU 不給力，要么跑不起來，要么跑起來后生成巨慢。這時(shí)候可以選擇用公有云GPU來布署?？梢詤⒖歼@篇文章：https://mp.weixin.qq.com/s/u7Dq5f5Ta2mWjBnqj_Fkcw

聲明：本文主要的目的是講解布署SD的技術(shù)知識(shí)，大家用于個(gè)人技術(shù)學(xué)習(xí)即可。如有人用于不合規(guī)場(chǎng)景中，皆與本文作者無關(guān)。

References

[1] https://blog.csdn.net/weixin_40735291/article/details/129153398。