火星網(wǎng)校
讓Stable Diffusion秒出圖！清華碩士加速神器爆火，已有公司接入
發(fā)布時(shí)間：2023-11-17 16:45:53 瀏覽量：103次
推理階段只需4步
克雷西 發(fā)自 凹非寺
|
AI圖像生成，已經(jīng)進(jìn)入了秒速級別，只要4步推理就能完成繪制，最快更是能在1秒之內(nèi)完成。
現(xiàn)在，清華大學(xué)聯(lián)合HuggingFace的研究人員，推出了全新的繪圖模型加速模塊。
作者給出的體驗(yàn)版當(dāng)中，點(diǎn)擊生成按鈕后，模型只用了幾秒鐘就繪制出了4張清晰的圖像。
這個(gè)加速模塊叫做LCM-LoRA，發(fā)布后不久就斬獲了2k+次GitHub星標(biāo)。
它不僅加速能力強(qiáng)、泛化性能好，適配的模型也很廣泛，SD系和LoRA模型都能用它來加速。
團(tuán)隊(duì)基于LCM-LoRA自行優(yōu)化的文生圖模型已在HuggingFace上開放體驗(yàn)，圖生圖模型也推出了CoLab等版本。
AI繪圖工具迅速接入
LCM-LoRA開源后不久，就有AI繪圖工具廠商Scenario宣布將基于它推出“實(shí)時(shí)繪圖”功能。
Scenario的CEO還在上親自展示了即將上線的實(shí)時(shí)繪圖功能DEMO。
只見一邊在繪制草圖，另一邊AI就把相應(yīng)的畫作繪制好了，時(shí)間上幾乎同步。
調(diào)整提示詞和有關(guān)參數(shù)，模型響應(yīng)得也是干脆利落。
這些DEMO發(fā)布后，引發(fā)了眾人的一致贊嘆。
那么，LCM-LoRA這個(gè)加速模塊到底有多強(qiáng)，又是怎樣實(shí)現(xiàn)的呢？
“跳步”降低內(nèi)存開銷
LCM-LoRA將LoRA引入潛在一致性模型（LCM）的蒸餾過程，顯著減少了訓(xùn)練內(nèi)存開銷，從而提高性能。
而LCM是從潛擴(kuò)散模型（LDM）中蒸餾出來的，“蒸餾”的過程也可以看做是對擴(kuò)散模型的微調(diào)。
它的核心思想是在圖像的隱變量空間中學(xué)習(xí)一致性映射函數(shù)，該函數(shù)可以直接將擴(kuò)散過程中的任意點(diǎn)映射到終點(diǎn)，即微分方程的解。
通過這種一致性映射，LCM可以跳過迭代采樣過程，直接進(jìn)行少步甚至一步采樣，從而極大地加速了圖像的生成。
而隱變量空間操作相比基于像素空間的方法，計(jì)算復(fù)雜度和內(nèi)存需求也更低。
結(jié)合LoRA后，只需要訓(xùn)練低秩分解矩陣，可訓(xùn)練參數(shù)量和內(nèi)存開銷進(jìn)一步減少，應(yīng)用范圍也從單純的文生圖擴(kuò)展到了圖生圖和視頻生成。
最直觀體現(xiàn)的就是我們看到的秒速出圖，而訓(xùn)練時(shí)間上，LCM-LoRA優(yōu)化后的模型在A100上訓(xùn)練只需32個(gè)GPU時(shí)。
訓(xùn)練時(shí)間縮短的背后，也于訓(xùn)練參數(shù)量大幅減少密切相關(guān)：
- SD-V1.5全量參數(shù)為9.8億，使用LoRA后可訓(xùn)練參數(shù)減少到6750萬，約減少了93.1%。
- SSD-1B參數(shù)從13億減少到1.05億，約減少了91.9%。
- SDXL參數(shù)從35億減少到1.97億，約減少了94.3%。
不僅是訓(xùn)練消耗的降低，推理過程中的步數(shù)也大幅減少，一般只需要4步推理就能繪制出質(zhì)量不錯(cuò)的圖像。
有時(shí)甚至只要一步就能完成，用時(shí)還不到1秒，F(xiàn)ID分?jǐn)?shù)（越低越好）在50以下。
不僅加速性能優(yōu)異，LCM-LoRA的適配性也十分廣泛。
LCM-LoRA訓(xùn)練得到的LoRA參數(shù)又稱為加速向量，可以數(shù)據(jù)集上微調(diào)得到的LoRA參數(shù)直接線性組合，不需要額外訓(xùn)練。
這種組合方式使得LCM-LoRA成為一個(gè)可直接插接到各種微調(diào)模型中的通用圖像生成加速模塊。
作者簡介
LCM和LCM-LoRA論文的兩位主要作者是來自清華大學(xué)交叉信息研究院的研究生駱?biāo)济悖⊿imian Luo）和譚亦欽（Yiqin Tan）。
清華叉院的黃隆波副教授、李建副教授和趙行助理教授也參與了這兩項(xiàng)研究。
在LCM-LoRA的工作中，來自HuggingFace的研究人員亦有貢獻(xiàn)。
論文地址：
[1]https://arxiv.org/abs/2310.04378
[2]https://arxiv.org/abs/2311.05556
開源項(xiàng)目頁：
https://github.com/luosiallen/latent-consistency-model
文生圖在線體驗(yàn)（HuggingFace）：
https://huggingface.co/spaces/SimianLuo/Latent_Consistency_Model
圖生圖Colab筆記：
https://colab.research.google.com/github/camenduru/latent-consistency-model-colab/blob/main/latent_consistency_model_webui_colab.ipynb
熱門課程推薦
熱門資訊
-
1. 照片變漫畫效果，這4個(gè)方法操作簡單有效，快來試試吧！
想將照片變成漫畫效果？這篇文章分享了4個(gè)方法，包括Photoshop、聰明靈犀、VanceAI Toongineer、醒圖，簡單操作就能實(shí)現(xiàn)，快來嘗試一下吧！
-
2. 華為手機(jī)神奇“AI修圖”功能，一鍵消除衣服！原圖變身大V領(lǐng)深V！
最近華為手機(jī)Pura70推出的“AI修圖”功能引發(fā)熱議，通過簡單操作可以讓照片中的人物換裝。想了解更多這款神奇功能的使用方法嗎？點(diǎn)擊查看！
-
近年來,人工智能逐漸走入公眾視野,其中的AI圖像生成技術(shù)尤為引人注目。只需在特定軟件中輸入關(guān)鍵詞描述語以及上傳參考圖就能智能高效生成符合要求的...
-
4. AI視頻制作神器Viggle：讓靜態(tài)人物動(dòng)起來，創(chuàng)意無限！
Viggle AI是一款免費(fèi)制作視頻的AI工具，能讓靜態(tài)人物圖片動(dòng)起來，快來了解Viggle AI的功能和優(yōu)勢吧！
-
5. Logo Diffusion——基于sd繪畫模型的AI LOGO 生成器
這下LOGO設(shè)計(jì)徹底不用求人了。接下來詳細(xì)演示一遍操作流程首先進(jìn)入Logo D... 想學(xué)習(xí)更多AI技能,比如說關(guān)于怎么樣利用AI來提高生產(chǎn)效率、還能做什么AI...
-
6. 零基礎(chǔ)10分鐘生成漫畫，教大家如何用AI生成自己的漫畫
接下來,我將親自引導(dǎo)你,使用AI工具,創(chuàng)作一本既有趣又能帶來盈利的漫畫。我們將一起探索如何利用這個(gè)工具,發(fā)揮你的創(chuàng)意,制作出令人驚嘆的漫畫作品。讓...
-
7. AI顯卡繪畫排行榜:4090無懸念，最具性價(jià)比出人意料
在AI繪圖領(lǐng)域，Stable Diffusion的顯卡繪圖性能備受關(guān)注。本文整理了Stable Diffusion顯卡的硬件要求和性能表現(xiàn)，以及2023年3月顯卡AI繪圖效率排行榜和性價(jià)比排行榜。歡迎查看最新的AI顯卡算力排行榜。
-
8. 趕緊收藏好!這4個(gè)完全免費(fèi)的AI視頻制作網(wǎng)站和工具
以下是一些免費(fèi)的AI視頻制作網(wǎng)站或工具,幫助您制作各種類型的視頻。 1. Lumen5:Lumen5是一個(gè)基于AI的視頻制作工具,可將文本轉(zhuǎn)換為視頻。 用戶可以使...
-
就能快速生成一幅極具藝術(shù)效果的作品,讓現(xiàn)實(shí)中不懂繪畫的人也能參與其中創(chuàng)作!真的超贊噠~趣趣分享幾款超厲害的AI繪畫軟件,提供詳細(xì)操作!有需要的快來...
-
10. 10個(gè)建筑AI工具，從設(shè)計(jì)到施工全覆蓋!肯定有你從來沒聽過的
講述了建筑業(yè)比較著名的AI公司小庫科技做出的探索,在這兒就不多說了。今天,我們試著在規(guī)劃設(shè)計(jì)、建筑方案設(shè)計(jì)、住宅設(shè)計(jì)、管道設(shè)計(jì)、出渲染圖、3D掃...
最新文章
