火星網(wǎng)校
AI控制AI，生成CG藝術(shù)：GAN和CLIP融合
發(fā)布時(shí)間：2023-12-09 18:59:23 瀏覽量：122次
嫌棄GAN生成的圖像不夠炫酷？
不需要改變數(shù)據(jù)集，只需要給CLIP下達(dá)的命令中把“虛幻引擎”幾個(gè)字加上，再讓CLIP去指揮GAN，圖像就立馬變成了高大上的CG藝術(shù)風(fēng)。
文字中加入虛幻引擎這個(gè)技巧，最早由Aran Komatsuzaki發(fā)在推特上，吸引了大量CV圈的人來(lái)圍觀。
后來(lái)有人把這套流程發(fā)在了Colab上，網(wǎng)友們都玩瘋了。
還可以指定成“彩色鉛筆風(fēng)格”
或者“吉卜力風(fēng)格”：
最絕的是，加上“3D photo inpainting”竟然可以生成立體構(gòu)圖。
CLIP是OpenAI開(kāi)發(fā)的一個(gè)負(fù)責(zé)給圖像重排序的模型，它與GAN合作的方式也很簡(jiǎn)單。
先用一張平平無(wú)奇的隨機(jī)圖案作為種子，像這種：
像這樣讓CLIP算出其與文字描述的相似度打分，然后反饋給GAN，讓GAN以提升分?jǐn)?shù)為目標(biāo)不斷迭代。
AI藝術(shù)家組合就這么出現(xiàn)了。
除了在提示中加入風(fēng)格要求之外，還可以直接告訴AI一個(gè)人名，看看在AI眼中他們長(zhǎng)啥樣。
甚至能用來(lái)猜猜那些從未露面的大佬們，比如神秘的比特幣之父中本聰。
這就是AI心目中的中本聰，不管你信不信，反正我是信了。
在線試玩
VQGAN+CLIP在Colab上有很多版本，我們經(jīng)過(guò)對(duì)比選擇了一個(gè)加入額外優(yōu)化和池化技巧，在速度和質(zhì)量上都比較出色的一個(gè)（鏈接在文章末尾）。
第1步和第2步，按順序執(zhí)行就好。
第3步，選擇使用的模型，默認(rèn)的是用ImageNet訓(xùn)練的。
第4步設(shè)置參數(shù)，一般情況下只需要在texts里填上要生成的內(nèi)容，用“|”分隔。
width和height控制生成圖像的分辨率，model可以選擇使用的模型（需要在第3步中下載）。
改變seed的數(shù)字可以更換隨機(jī)圖像種子。
另外還可以在init_image處指定一張初始圖片，需要把圖片上傳到Colab環(huán)境里再填入鏈接。
比如，有人使用這樣一張圖片作為圖像種子，開(kāi)發(fā)了新玩法：生成寶可夢(mèng)。
第五步執(zhí)行，300*300分辨率的圖迭代500次只需要幾分鐘。
最后，還可以把生成的過(guò)程合成為視頻。
就是這么簡(jiǎn)單，快來(lái)試試吧。
在線試玩：
https://colab.research.google.com/drive/1ZAus_gn2RhTZWzOWUpPERNC0Q8OhZRTZ
VQGAN:
https://github.com/CompVis/taming-transformers
CLIP:
https://openai.com/blog/clip/
參考鏈接：
[1]https://twitter.com/arankomatsuzaki/status/1399471244760649729
[2]https://twitter.com/92C8301A/status/1408795789766365187
[3]https://twitter.com/ak92501
[4]https://twitter.com/casvaIuir/status/1408394829218914305
— 完 —
熱門(mén)課程推薦
熱門(mén)資訊
-
1. 照片變漫畫(huà)效果，這4個(gè)方法操作簡(jiǎn)單有效，快來(lái)試試吧！
想將照片變成漫畫(huà)效果？這篇文章分享了4個(gè)方法，包括Photoshop、聰明靈犀、VanceAI Toongineer、醒圖，簡(jiǎn)單操作就能實(shí)現(xiàn)，快來(lái)嘗試一下吧！
-
2. 華為手機(jī)神奇“AI修圖”功能，一鍵消除衣服！原圖變身大V領(lǐng)深V！
最近華為手機(jī)Pura70推出的“AI修圖”功能引發(fā)熱議，通過(guò)簡(jiǎn)單操作可以讓照片中的人物換裝。想了解更多這款神奇功能的使用方法嗎？點(diǎn)擊查看！
-
3. 四款值得推薦的AI以圖生圖軟件，有需要的趕緊來(lái)試試!
近年來(lái),人工智能逐漸走入公眾視野,其中的AI圖像生成技術(shù)尤為引人注目。只需在特定軟件中輸入關(guān)鍵詞描述語(yǔ)以及上傳參考圖就能智能高效生成符合要求的...
-
4. AI視頻制作神器Viggle：讓靜態(tài)人物動(dòng)起來(lái)，創(chuàng)意無(wú)限！
Viggle AI是一款免費(fèi)制作視頻的AI工具，能讓靜態(tài)人物圖片動(dòng)起來(lái)，快來(lái)了解Viggle AI的功能和優(yōu)勢(shì)吧！
-
5. Logo Diffusion——基于sd繪畫(huà)模型的AI LOGO 生成器
這下LOGO設(shè)計(jì)徹底不用求人了。接下來(lái)詳細(xì)演示一遍操作流程首先進(jìn)入Logo D... 想學(xué)習(xí)更多AI技能,比如說(shuō)關(guān)于怎么樣利用AI來(lái)提高生產(chǎn)效率、還能做什么AI...
-
6. 零基礎(chǔ)10分鐘生成漫畫(huà)，教大家如何用AI生成自己的漫畫(huà)
接下來(lái),我將親自引導(dǎo)你,使用AI工具,創(chuàng)作一本既有趣又能帶來(lái)盈利的漫畫(huà)。我們將一起探索如何利用這個(gè)工具,發(fā)揮你的創(chuàng)意,制作出令人驚嘆的漫畫(huà)作品。讓...
-
7. AI顯卡繪畫(huà)排行榜:4090無(wú)懸念，最具性?xún)r(jià)比出人意料
在AI繪圖領(lǐng)域，Stable Diffusion的顯卡繪圖性能備受關(guān)注。本文整理了Stable Diffusion顯卡的硬件要求和性能表現(xiàn)，以及2023年3月顯卡AI繪圖效率排行榜和性?xún)r(jià)比排行榜。歡迎查看最新的AI顯卡算力排行榜。
-
8. 趕緊收藏好!這4個(gè)完全免費(fèi)的AI視頻制作網(wǎng)站和工具
以下是一些免費(fèi)的AI視頻制作網(wǎng)站或工具,幫助您制作各種類(lèi)型的視頻。 1. Lumen5:Lumen5是一個(gè)基于AI的視頻制作工具,可將文本轉(zhuǎn)換為視頻。 用戶(hù)可以使...
-
就能快速生成一幅極具藝術(shù)效果的作品,讓現(xiàn)實(shí)中不懂繪畫(huà)的人也能參與其中創(chuàng)作!真的超贊噠~趣趣分享幾款超厲害的AI繪畫(huà)軟件,提供詳細(xì)操作!有需要的快來(lái)...
-
10. 10個(gè)建筑AI工具，從設(shè)計(jì)到施工全覆蓋!肯定有你從來(lái)沒(méi)聽(tīng)過(guò)的
講述了建筑業(yè)比較著名的AI公司小庫(kù)科技做出的探索,在這兒就不多說(shuō)了。今天,我們?cè)囍谝?guī)劃設(shè)計(jì)、建筑方案設(shè)計(jì)、住宅設(shè)計(jì)、管道設(shè)計(jì)、出渲染圖、3D掃...
最新文章
