激情六月丁香婷婷|亚洲色图AV二区|丝袜AV日韩AV|久草视频在线分类|伊人九九精品视频|国产精品一级电影|久草视频在线99|在线看的av网址|伊人99精品无码|午夜无码视频在线

破解SD繪畫與煉丹的玄學

發(fā)布時間：2024-03-24 17:27:12 瀏覽量：243次

隨著AI繪畫越來越多的進入普羅大眾的視野，越來越多的AI繪畫工具也被大家所熟知。MJ，SD，DELL-E3等不勝枚舉，其中SD的上手難度一直被大家所詬病。其實各個工具都有各自的優(yōu)勢，都能掌握的話不用多說必然會成為強者。但是我的定論很明確，能創(chuàng)造藝術(shù)和奇跡的最終還是SD，讓我能如此篤定的原因就是來自于Lora。

為了讓這篇文章更能被入門學者理解和吸收還是需要做一下科普。Lora模型是微軟開發(fā)的一種微調(diào)模型技術(shù)，其實各個AI繪圖工具的底層模型中都有使用Lora技術(shù)去做優(yōu)化，但是唯獨SD將Lora技術(shù)開源，把模型微調(diào)的權(quán)利交到了大眾手中。因此現(xiàn)在才會涌現(xiàn)那么多的模型訓練師，才成就了諸如C站，Liblib等一眾模型分享平臺。

前言就此結(jié)束，接下來就是帶領大家的悟道時間，我會盡量用最容易理解的方式去詮釋我的道，去破解那些SD中那些令人無法寸進的難點，那些所謂的玄學。

我一直說SD是一個下限極低上限又極高的繪畫工具，初學者通常上手畫出來的作品都無法直視，因此SD勸退了非常多的AI繪畫愛好者。MJ和Dell-E3，他們都是成熟的畫師，不會把失敗的作品展現(xiàn)在你面前，最多就是不夠聽話，因此他們迭代的方向是越來越聽話。SD不同，他是個極賦繪畫熱情和繪畫天賦的孩子。你剛上手使用的時候他一定是個孩子，然后一同成長成為畫師，并且超越畫師，你要相信他真的很聰明也很聽話。所以如何和這個孩子和平共處就需要講究平衡，”平衡”這個詞也是我指導別人使用SD時最多提到的詞。

1.大模型和Lora模型權(quán)重之間的平衡。

Lora訓練最優(yōu)先考慮的是擬合性，所謂擬合性就是在搭配大模型出圖時兩者結(jié)合可以得到優(yōu)質(zhì)的畫面（原理太過干澀不多贅述）。訓練過程中擬合曲線就是一條拋物線，只會經(jīng)歷一次欠擬合到擬合再到過擬合的過程。所以評價一個Lora模型的好壞，最根本的就是看它的擬合區(qū)間（權(quán)重范圍），能搭配越多大模型，權(quán)重調(diào)整區(qū)間越大就是越好用的Lora模型。出圖也是一樣，找到符合你繪畫目標的大模型和Lora，找到兩者之間的平衡（一般Lora作者都會說明適配的大模型及最佳的權(quán)重范圍），在此基礎上通過提示詞和插件去添加自己想要的圖片內(nèi)容，做到這一步了恭喜你，你會發(fā)現(xiàn)那些說SD是垃圾的人才是垃圾。


2.提示詞之間的平衡

提示詞之間還需要平衡？是的，不信的話你堆一堆形容光線的提示詞出圖試試。提示詞之間大多數(shù)是增益關系，但不免也會產(chǎn)生沖突。當你使用了大模型疊加一個Lora甚至多個Lora出圖時，這個平衡就更為重要。提示詞之間的順序和權(quán)重關系都會直接影響到出圖的效果。原理其實也很簡單，有些畫面元素是大模型的tag提供的，有些元素是Lora的tag提供的。你想孩子又要媽媽的美貌又要有爸爸的智慧，但是兩者又不能全要時，你當然要分清孰輕孰重，這樣才能得到你最滿意的樣子。


3.controlnet控制的平衡

AI是富有想象力和創(chuàng)造力的，而controlnet是一個牢籠負責控制出圖的構(gòu)圖,姿態(tài)和效果，有對抗就需要找平衡。調(diào)整controlnet的權(quán)重，介入時機和終止時機就是調(diào)整兩者之間的平衡。此時你會發(fā)現(xiàn)SD是一個既有想象力又聽話的孩子，他已經(jīng)不止會畫畫了，還能幫你完成各種各樣的任務了。

其實能看到這里 你已經(jīng)是一個成功的AI繪畫師了，AI繪畫在SD中已經(jīng)沒有玄學了。接下來進階的部分來了，煉丹…

煉丹就是訓練Lora模型，踏入丹門深似海，這也是SD的無窮魅力所在。在我眼里Lora是萬能的，可以解決很多大模型中語義理解的問題，解決部分細節(jié)調(diào)整的問題，解決風格擴展的問題，解決垂直商業(yè)落地的問題，也是SD通往藝術(shù)高度的大門。

有所追求的Lora模型訓練師有很多，一些Lora模型師會通過一遍遍的出圖優(yōu)化訓練集進行訓練，最終達到想要的效果。不過也會有很多Lora模型師隨意而為想到什么就動手。當然這里也不能說孰對孰錯，訓練目標決定訓練方法。但是有一點是肯定的，那就是訓練集的選擇需要想想力的輔助，就像我的訓練集內(nèi)容可不是一般人能想明白的，無法細述，你問我只能告訴你憑感覺。萬事萬物都講平衡，煉丹的平衡之道就更是深妙，我至今還不能確定我自己夠不夠資格寫個人觀點和教程。深怕和一些博主一樣，以為自己是在做知識推廣但實際上卻阻礙了更多的想象力和可能性。

再來說打Tag。在市面上有各種各樣的教學視頻教大家煉丹，有說tag要越詳細越好的，也有說要把想要的目標特征tag刪除的，還有直接把tag全都刪除只保留觸發(fā)詞的。在我看來他們都對，打tag沒有唯一標準，只是他們的訓練目標不一樣罷了。奧義還是那個詞-----平衡。tag的作用就是告訴AI你的訓練集圖像里是什么內(nèi)容，當你描述不全時其他的特征都會被訓練到你的觸發(fā)詞中去（所以有些lora沒有觸發(fā)詞，我只能說作者牛人，臣妾做不到）。這時候就發(fā)揮你想象力的時候了，你要明確知道你的訓練目標是什么，是實體，是特征還是風格，對應的tag打標方式也就會有所不同，去尋求那種語義間的平衡。

煉丹沒有玄學，在我眼里只要掌握了基本的煉丹原理和技巧，沒有一顆丹會是廢丹，也許其中的某一個tag可以發(fā)揮你想象不到的效果。同樣的如果你能融會貫通，在此之上發(fā)揮想象，盡可能地提升Lora的擬合性和泛化性，在此之間找到平衡，煉出神丹打開SD的邊界，打開垂直應用市場，甚至于打開藝術(shù)的大門也不是沒有可能。

我總說一句話，藝術(shù)沒有終點，AI亦是如此。隨著技術(shù)和算力的不斷迭代，未來的AI繪畫以及AI視頻會走向何方？無人能知，無人能答，我們只有帶著好奇心和進取心不斷的去探索，去尋求答案。

熱門課程推薦

熱門資訊

請綁定手機號

獲取驗證碼
x

同學您好！

您已成功報名0元試學活動，老師會在第一時間與您取得聯(lián)系，請保持電話暢通！
確定