火星網(wǎng)校
OpenAI救了Stable Diffusion！開源Dall·E3同款解碼器
發(fā)布時間：2023-11-11 13:21:21 瀏覽量：107次
生成人臉/文字/線條可更穩(wěn)定
明敏 發(fā)自 凹非寺
|
沒想到，OpenAI撈了“競對”Stable Diffusion一把。
在熱火朝天的“AI春晚”上，OpenAI一口氣開源兩項工作，其中之一一致性解碼器，專門面向SD的VAE模型。
它能讓圖像生成質(zhì)量更高、更穩(wěn)定，比如多人臉、帶文字圖像以及線條控制方面。
大V博主分析這個解碼器應(yīng)該是Dall·E 3同款，在GitHub項目頁上OpenAI也提供了Dall·E 3論文。
它具體支持的版本是Stable Diffusion 1.4/1.5。
項目頁上只放了一個例子，具體怎么訓(xùn)練沒有寫，被網(wǎng)友稱為“人狠話不多式開源”。
你們直接加載使用就好。
而且這個一致性解碼器頗有淵源。
它來自OpenAI聯(lián)創(chuàng)及首席科學(xué)家Ilya、OpenAI華人新星宋飏等人提出的一致性模型（Consistency Models）。
上半年這個模型開源時就引發(fā)業(yè)內(nèi)震動，被評為能“終結(jié)擴散模型”。
就在前不久，宋飏等人還對模型訓(xùn)練方法做了優(yōu)化，能進一步提升圖像生成質(zhì)量。
開發(fā)者日的另一項重磅開源是語音大模型Whisper 3。它同樣出自傳奇人物之手，一作Alec Radford對GPT系列的構(gòu)建起到了重要作用。
網(wǎng)友們不禁感慨：還是愛看OpenAI開源啊，期待繼續(xù)開放更多模型。
一致性模型完成再進化
先來看最初名震江湖的第一版一致性模型（Consistency Models）。
它旨在解決擴散模型通過逐步迭代、導(dǎo)致圖像生成緩慢的問題。僅需3.5秒即可生成64張左右256×256的圖像。
相比擴散模型，它主要有兩大優(yōu)勢：
其一，無需對抗訓(xùn)練（adversarial training），就能直接生成高質(zhì)量的圖像樣本。
其二，相比擴散模型可能需要幾百甚至上千次迭代，一致性模型只需要一兩步就能搞定多種圖像任務(wù)——
包括上色、去噪、超分等，都可以在幾步之內(nèi)搞定，而不需要對這些任務(wù)進行明確訓(xùn)練。（當(dāng)然，如果進行少樣本學(xué)習(xí)的話，生成效果也會更好）
原理上，一致性模型直接把隨機的噪聲映射到復(fù)雜圖像上，輸出都是同一軌跡上的同一點，所以實現(xiàn)了一步生成。
論文提出兩種訓(xùn)練方法，一種是基于一致性蒸餾，利用預(yù)訓(xùn)練的擴散模型生成相鄰數(shù)據(jù)對，通過最小化模型輸出之間的差異，來訓(xùn)練一致性模型。
另一種方法是獨立訓(xùn)練，將一致性模型作為獨立生成模型訓(xùn)練。
實驗結(jié)果表明，一致性模型在一步和少步采樣方面優(yōu)于現(xiàn)有的蒸餾技術(shù)，如漸進式蒸餾。
當(dāng)作為獨立的生成模型進行訓(xùn)練時，一致性模型可以與現(xiàn)有的一步非對抗生成模型在標(biāo)準(zhǔn)基準(zhǔn)測試匯總媲美，如CIFAR-10、ImageNet 64×64和LSUN 256×256。
半年后發(fā)布的第二版論文，對訓(xùn)練方法進行了優(yōu)化。
它通過優(yōu)化權(quán)重函數(shù)、噪聲嵌入和dropout，使得一致性模型在不需要依賴學(xué)習(xí)過的特征，也能達到很好的生成質(zhì)量。
它改進了權(quán)重函數(shù)的選擇，使其隨著噪聲水平的增加而減小，這使得在較小噪聲水平處的一致性損失權(quán)重更大，從而提升樣本質(zhì)量。
同時調(diào)整了噪聲嵌入層的敏感性，使其降低對微小噪聲差異的敏感性，有助于提高連續(xù)時間一致性訓(xùn)練的穩(wěn)定性。
并且發(fā)現(xiàn)了在一致性模型中使用較大dropout、移除teacher network中的EMA、將學(xué)習(xí)過的特征距離（如LPIPS）替換Pseudo-Huber損失函數(shù)，都能能進一步提高圖像質(zhì)量。
One More Thing
回到這次最新開源的解碼器，第一波實測體驗已經(jīng)來了。
目前看到的一些效果，提升不算明顯，而且不少人反映運行速度慢。
但這還是最早期的測試，后續(xù)或許會有更多提升。
值得一提的是，領(lǐng)銜推出一致性模型的宋飏，年紀(jì)輕輕但是已被評為擴散模型圈OG（元老）了。
△來自英偉達AI科學(xué)家Jim Fan推特
今年，憑借一致性模型，宋飏也名震江湖。這位大佬16歲就當(dāng)理科狀元上清華了，關(guān)于他的更多故事可戳：OpenAI當(dāng)紅新星宋飏：最新研究獲評「終結(jié)擴散模型」，16歲上清華
論文地址：
[1]https://arxiv.org/abs/2310.14189
[2]https://arxiv.org/abs/2303.01469
熱門課程推薦
熱門資訊
-
想將照片變成漫畫效果？這篇文章分享了4個方法，包括Photoshop、聰明靈犀、VanceAI Toongineer、醒圖，簡單操作就能實現(xiàn)，快來嘗試一下吧！
-
2. 華為手機神奇“AI修圖”功能，一鍵消除衣服！原圖變身大V領(lǐng)深V！
最近華為手機Pura70推出的“AI修圖”功能引發(fā)熱議，通過簡單操作可以讓照片中的人物換裝。想了解更多這款神奇功能的使用方法嗎？點擊查看！
-
近年來,人工智能逐漸走入公眾視野,其中的AI圖像生成技術(shù)尤為引人注目。只需在特定軟件中輸入關(guān)鍵詞描述語以及上傳參考圖就能智能高效生成符合要求的...
-
4. AI視頻制作神器Viggle：讓靜態(tài)人物動起來，創(chuàng)意無限！
Viggle AI是一款免費制作視頻的AI工具，能讓靜態(tài)人物圖片動起來，快來了解Viggle AI的功能和優(yōu)勢吧！
-
5. Logo Diffusion——基于sd繪畫模型的AI LOGO 生成器
這下LOGO設(shè)計徹底不用求人了。接下來詳細演示一遍操作流程首先進入Logo D... 想學(xué)習(xí)更多AI技能,比如說關(guān)于怎么樣利用AI來提高生產(chǎn)效率、還能做什么AI...
-
6. 零基礎(chǔ)10分鐘生成漫畫，教大家如何用AI生成自己的漫畫
接下來,我將親自引導(dǎo)你,使用AI工具,創(chuàng)作一本既有趣又能帶來盈利的漫畫。我們將一起探索如何利用這個工具,發(fā)揮你的創(chuàng)意,制作出令人驚嘆的漫畫作品。讓...
-
7. 趕緊收藏好!這4個完全免費的AI視頻制作網(wǎng)站和工具
以下是一些免費的AI視頻制作網(wǎng)站或工具,幫助您制作各種類型的視頻。 1. Lumen5:Lumen5是一個基于AI的視頻制作工具,可將文本轉(zhuǎn)換為視頻。 用戶可以使...
-
8. 一款免費無限制的AI視頻生成工具火了!國內(nèi)無障礙訪問!附教程
人人都可以動手制作AI視頻! 打開網(wǎng)址https://pixverse.ai/,用郵箱注冊后,點擊右上角Create,就可以開始創(chuàng)作了。 PixVerse目前有文案生成視頻,和圖片生...
-
9. AI顯卡繪畫排行榜:4090無懸念，最具性價比出人意料
在AI繪圖領(lǐng)域，Stable Diffusion的顯卡繪圖性能備受關(guān)注。本文整理了Stable Diffusion顯卡的硬件要求和性能表現(xiàn)，以及2023年3月顯卡AI繪圖效率排行榜和性價比排行榜。歡迎查看最新的AI顯卡算力排行榜。
-
就能快速生成一幅極具藝術(shù)效果的作品,讓現(xiàn)實中不懂繪畫的人也能參與其中創(chuàng)作!真的超贊噠~趣趣分享幾款超厲害的AI繪畫軟件,提供詳細操作!有需要的快來...
最新文章
