發(fā)布時(shí)間:2024-03-24 18:40:25 瀏覽量:228次
SD(Stable Diffusion)是目前最流行的本地部署類AIGC工具,它可以說(shuō)既簡(jiǎn)單又復(fù)雜。簡(jiǎn)單是因?yàn)橥耆珱](méi)有繪畫(huà)功底的用戶也可以做出各種風(fēng)格的精美圖片,而復(fù)雜則是因?yàn)锳IGC相對(duì)沒(méi)有那么“聽(tīng)話”,想要AI完全按照自己的想法實(shí)現(xiàn)內(nèi)容還是頗有難度的。
此前我們簡(jiǎn)單介紹過(guò)大家最常用的文生圖,今天就來(lái)講一講SD更實(shí)用的圖生圖功能。它相比文生圖具有在原圖基礎(chǔ)上更可控、更簡(jiǎn)單、更還原等優(yōu)點(diǎn),但如果是初次接觸,想要用好還是比較困難的,下面我們就來(lái)簡(jiǎn)單的講一講如何控制圖生圖中的變量達(dá)到想要的效果。
1 模型的選擇 準(zhǔn)備工作
在SD中,不同的模型有不同的繪畫(huà)風(fēng)格,相信使用過(guò)文生圖的朋友都有體會(huì),有的模型擅長(zhǎng)動(dòng)漫人物、有的擅長(zhǎng)真人、有的則擅長(zhǎng)風(fēng)景。
這一點(diǎn)在圖生圖中同樣比較重要,如果選擇人物模型,卻想要生成純風(fēng)景就非常困難,即便反向詞加上各種限制,大概率出圖后也會(huì)有一個(gè)奇形怪狀的人物出現(xiàn)。
目前從個(gè)人使用的情況來(lái)看,動(dòng)漫類aamXLAnimeMix、astranime效果都是不錯(cuò)的;真人則是chilloutmix;純風(fēng)景的比較少,使用SDXL即可。
除了模型之外,硬件也是準(zhǔn)備工作的重要環(huán)節(jié),不管是文生圖還是圖生圖,顯卡始終是沖在最前線的。如果你想生成大尺寸的圖片,顯存是最重要的,如果顯存需求高于實(shí)際顯存,則會(huì)直接報(bào)錯(cuò),無(wú)法生成。
不過(guò)如果你只需生成單張圖片,使用高清修復(fù)功能同樣可以解決分辨率的問(wèn)題。此前筆者由于需要使用SD生成出視頻對(duì)應(yīng)的多張圖片,所以直接按照視頻的尺寸生成了1800×1200分辨率。
對(duì)于SD來(lái)說(shuō),生成簡(jiǎn)單的圖12GB顯存大都?jí)蛴?,如果生成較大較精細(xì)的圖片,建議16GB或以上顯存。目前RTX 40系顯卡中RTX 4070 Ti SUPER和RTX 4080 SUPER都是16GB,我們的測(cè)試平臺(tái)使用的為華碩TUF GeForce RTX 4080 SUPER O16G GAMING顯卡(畢竟收錢了)。
不過(guò)在算力上RTX 4080 SUPER也要比RTX 4070 Ti SUPER強(qiáng)很多,10張圖片大約能提升30s左右。畢竟使用SD不管是文生圖還是圖生圖,都是碰運(yùn)氣的事,驗(yàn)證階段生成幾十幾百?gòu)垐D很常見(jiàn)。
2 反推
下面我們直入正題,SD圖生圖與文生圖最大的區(qū)別就是需要反推提示詞。雖然SD會(huì)自帶反推,但還是建議大家直接下載秋葉大神的整合包,里面自帶了WD1.4標(biāo)簽器,傻瓜式操作、速度快、準(zhǔn)確度高。
1girl, hat, solo, phone, long hair, cellphone, holding, holding phone, smartphone, blue headwear, realistic, jacket, black hair, upper body, brown hair, baseball cap, grey background, long sleeves, simple background, black eyes
從上圖的反推來(lái)看,WD1.4標(biāo)簽器生成的準(zhǔn)確度相當(dāng)高,而且可一鍵發(fā)送到圖生圖,非常方便。
這步不需要什么注意事項(xiàng),只是在篩選標(biāo)簽的時(shí)候,可以刪除或替換為自己想要生成的目標(biāo)。
3 參數(shù)設(shè)置
在SD圖生圖中,參數(shù)的設(shè)定和文生圖有些區(qū)別,這里簡(jiǎn)單說(shuō)明。
迭代步數(shù)
迭代步數(shù)的數(shù)值與文生圖相同,簡(jiǎn)單可以理解為AI通過(guò)多少步的計(jì)算得到的這張圖片,通常設(shè)定在20-50之間,過(guò)低或過(guò)高都可能造成畫(huà)面崩壞。
然而不同的模型,對(duì)迭代步數(shù)的需求都不同。通常來(lái)講在漫畫(huà)模型中,Steps在20左右即可生成不錯(cuò)的圖片,但很多真人模型Steps 20生成的圖片則會(huì)顯得假一些,將數(shù)值設(shè)定在40-50左右會(huì)有不錯(cuò)的效果。
另外迭代步數(shù)越高,生成圖片的時(shí)間越慢,反之則快。但最終生成的圖片大小都是相同的。
重繪尺寸
由于SD圖生圖通常是將真實(shí)拍攝的照片導(dǎo)入作為參考,如果是原圖,則需要進(jìn)行縮放處理,否則會(huì)由于圖片過(guò)大而顯存報(bào)錯(cuò)。
如果想保持原圖比例,選擇倍數(shù)縮放即可;如果想自定義,直接輸入想要的尺寸即可。這一項(xiàng)很簡(jiǎn)單,無(wú)需太多說(shuō)明。
批次
總批次數(shù)和單批數(shù)量也很好理解,總批次數(shù)越大,代表AI隨機(jī)種子生成的數(shù)量越多;而單批數(shù)量則是在同一種子的情況下,使用相同設(shè)定生成更多的圖片。
這兩項(xiàng)數(shù)值的設(shè)定沒(méi)有絕對(duì)值,通常前期實(shí)驗(yàn)階段的總批次數(shù)會(huì)多一些,以作為參考。如果發(fā)現(xiàn)了喜歡的風(fēng)格或構(gòu)圖,可以查看當(dāng)前圖片的Seed值,將這個(gè)值復(fù)制到隨機(jī)數(shù)種子中(默認(rèn)為-1),再生成單批多數(shù)量圖片。
引導(dǎo)系數(shù)與重繪幅度
這兩項(xiàng)參數(shù)是與文生圖區(qū)別最大的地方,在文生圖中,提示詞引導(dǎo)系數(shù)基本是單一決定出圖效果的變量(除了提示詞)。
而在圖生圖中,引導(dǎo)系數(shù)會(huì)被極大弱化,它與重繪幅度是相輔相成的關(guān)系。
簡(jiǎn)單來(lái)說(shuō),重繪幅度越小,它與原圖就越相似,AI發(fā)揮的空間就越小。而重繪幅度在0.5或0.6之后,AI發(fā)揮的就越自由。
同時(shí)這也會(huì)大幅提高畫(huà)面崩壞的幾率,雖然AI的自由度高了,但是圖生圖的邏輯仍是在原圖的基礎(chǔ)上修改,所以當(dāng)兩種設(shè)定相沖突時(shí),就會(huì)產(chǎn)生崩壞的畫(huà)面。
想要得到自己滿意的圖生圖效果,就需要在引導(dǎo)系數(shù)與重繪幅度之間反復(fù)調(diào)試,以掌握自己滿意的AI重繪區(qū)間。在掌握了大體的區(qū)間后,筆者通常將重繪幅度以0.02作為步進(jìn)區(qū)間。
4 標(biāo)簽
雖然圖生圖是以原圖作為依據(jù)進(jìn)行重繪,但標(biāo)簽仍然會(huì)起到相當(dāng)大的作用。另外在SD中,一些反向標(biāo)簽是通用的,大家可以直接復(fù)制到記事本中,以便下次直接取用。如果是人物圖片,基本以多余的手、四肢、低質(zhì)量為主。
(unhealthy-deformed-joints:2),(unhealthy-hands:2),EasyNegative,ng_deepnegative_v1_75t,(worst quality:2),(low quality:2),(normal quality:2),lowres,bad anatomy,badhandv4,((extra limbs)),((extra legs)),((fused legs)),((extra arms)),((fused arms)),normal quality,((monochrome)),((grayscale)),((watermark)),uneven eyes,lazy eye,(((mutated hand))),
以原圖作為參考,一些較為相似的部位,如圖中皖之的頭發(fā)、眼神,在重繪幅度較大的情況下,AI可以根據(jù)提示詞自行修改。
但身后標(biāo)志性較強(qiáng)的百葉窗,如果你想讓AI重繪成黑色的柜子,則很難實(shí)現(xiàn)。除非將重繪幅度繼續(xù)調(diào)大,但隨之而來(lái)的后果就是畫(huà)面崩壞更嚴(yán)重。
所以這時(shí)我們就需要用到局部重繪。
5 局部重繪
蒙版重繪顧名思義,就是圈出圖中需要AI重新生成的地方。它的作用是幫助我們?cè)谝呀?jīng)生成出合適的人或背景之后,固定某一區(qū)域,重新生成其他區(qū)域的內(nèi)容。
如圖中所示,我們已經(jīng)生成了相當(dāng)完美的角色。手部和姿勢(shì)都已經(jīng)相當(dāng)完美,所以這時(shí)候僅需更改背景即可。
重繪的工具SD里面提供的比較簡(jiǎn)單,只有一個(gè)圓形畫(huà)筆。大家可根據(jù)人物結(jié)構(gòu)的不同,隨時(shí)調(diào)整畫(huà)筆大小。
如果想要更嚴(yán)謹(jǐn)?shù)膮^(qū)域,也可以上傳原始圖像和黑白蒙版,這樣能夠最大限度保證邊緣結(jié)構(gòu)的準(zhǔn)確性。
局部重繪除了框定選區(qū)范圍之外,所有參數(shù)也要重新設(shè)置。畢竟它只是在原圖的基礎(chǔ)上刨除了一部分,仍然相當(dāng)于重新作畫(huà)。
這里需要注意的是,在蒙版模式中要區(qū)分讓AI繪制蒙版內(nèi)或者反選區(qū)域的內(nèi)容。另外如果需要生成完全不同的背景,在重繪幅度上可以調(diào)大參數(shù)。
最后就是記得更改提示詞,從標(biāo)簽頁(yè)復(fù)制過(guò)來(lái)的提示詞僅適用于原始圖像,想大幅度改變背景,提示詞需重新定制。
6 總結(jié)
圖生圖是SD重非常有用的一項(xiàng)功能,而且它相比文生圖效果更直接。大家不妨找一些身邊的朋友,把他們的照片變?yōu)锳I風(fēng)格,一定會(huì)讓大家嘖嘖稱奇。
另外文中沒(méi)有提及【ControlNet】,這是一個(gè)功能極強(qiáng)的插件,使用它可以時(shí)間自定義姿勢(shì)、保障面部表情、手指準(zhǔn)確性、給老照片上色、給線稿上色等等。不過(guò)相對(duì)應(yīng)的使用起來(lái)也比較繁瑣,如果大家想看更多關(guān)于AIGC的小技巧,下次我們可以單獨(dú)來(lái)講一期ControlNet插件。
最后,AIGC生圖永遠(yuǎn)不會(huì)按照我們大腦想的意志來(lái),只能是無(wú)限接近。所以如果想達(dá)到最好的效果,還要結(jié)合自身的繪畫(huà)功底來(lái)對(duì)圖片進(jìn)行完善。
(8607821)
熱門資訊
1. 照片變漫畫(huà)效果,這4個(gè)方法操作簡(jiǎn)單有效,快來(lái)試試吧!
想將照片變成漫畫(huà)效果?這篇文章分享了4個(gè)方法,包括Photoshop、聰明靈犀、VanceAI Toongineer、醒圖,簡(jiǎn)單操作就能實(shí)現(xiàn),快來(lái)嘗試一下吧!
2. 華為手機(jī)神奇“AI修圖”功能,一鍵消除衣服!原圖變身大V領(lǐng)深V!
最近華為手機(jī)Pura70推出的“AI修圖”功能引發(fā)熱議,通過(guò)簡(jiǎn)單操作可以讓照片中的人物換裝。想了解更多這款神奇功能的使用方法嗎?點(diǎn)擊查看!
3. 四款值得推薦的AI以圖生圖軟件,有需要的趕緊來(lái)試試!
近年來(lái),人工智能逐漸走入公眾視野,其中的AI圖像生成技術(shù)尤為引人注目。只需在特定軟件中輸入關(guān)鍵詞描述語(yǔ)以及上傳參考圖就能智能高效生成符合要求的...
4. AI視頻制作神器Viggle:讓靜態(tài)人物動(dòng)起來(lái),創(chuàng)意無(wú)限!
Viggle AI是一款免費(fèi)制作視頻的AI工具,能讓靜態(tài)人物圖片動(dòng)起來(lái),快來(lái)了解Viggle AI的功能和優(yōu)勢(shì)吧!
5. Logo Diffusion——基于sd繪畫(huà)模型的AI LOGO 生成器
這下LOGO設(shè)計(jì)徹底不用求人了。接下來(lái)詳細(xì)演示一遍操作流程首先進(jìn)入Logo D... 想學(xué)習(xí)更多AI技能,比如說(shuō)關(guān)于怎么樣利用AI來(lái)提高生產(chǎn)效率、還能做什么AI...
6. 零基礎(chǔ)10分鐘生成漫畫(huà),教大家如何用AI生成自己的漫畫(huà)
接下來(lái),我將親自引導(dǎo)你,使用AI工具,創(chuàng)作一本既有趣又能帶來(lái)盈利的漫畫(huà)。我們將一起探索如何利用這個(gè)工具,發(fā)揮你的創(chuàng)意,制作出令人驚嘆的漫畫(huà)作品。讓...
7. 趕緊收藏好!這4個(gè)完全免費(fèi)的AI視頻制作網(wǎng)站和工具
以下是一些免費(fèi)的AI視頻制作網(wǎng)站或工具,幫助您制作各種類型的視頻。 1. Lumen5:Lumen5是一個(gè)基于AI的視頻制作工具,可將文本轉(zhuǎn)換為視頻。 用戶可以使...
8. AI顯卡繪畫(huà)排行榜:4090無(wú)懸念,最具性價(jià)比出人意料
在AI繪圖領(lǐng)域,Stable Diffusion的顯卡繪圖性能備受關(guān)注。本文整理了Stable Diffusion顯卡的硬件要求和性能表現(xiàn),以及2023年3月顯卡AI繪圖效率排行榜和性價(jià)比排行榜。歡迎查看最新的AI顯卡算力排行榜。
9. 一款免費(fèi)無(wú)限制的AI視頻生成工具火了!國(guó)內(nèi)無(wú)障礙訪問(wèn)!附教程
人人都可以動(dòng)手制作AI視頻! 打開(kāi)網(wǎng)址https://pixverse.ai/,用郵箱注冊(cè)后,點(diǎn)擊右上角Create,就可以開(kāi)始創(chuàng)作了。 PixVerse目前有文案生成視頻,和圖片生...
就能快速生成一幅極具藝術(shù)效果的作品,讓現(xiàn)實(shí)中不懂繪畫(huà)的人也能參與其中創(chuàng)作!真的超贊噠~趣趣分享幾款超厲害的AI繪畫(huà)軟件,提供詳細(xì)操作!有需要的快來(lái)...
最新文章
同學(xué)您好!