火星網(wǎng)校
讓Stable Diffusion秒出圖！清華碩士加速神器爆火，已有公司接入
發(fā)布時間：2023-11-17 16:45:53 瀏覽量：105次
推理階段只需4步
克雷西 發(fā)自 凹非寺
|
AI圖像生成，已經(jīng)進入了秒速級別，只要4步推理就能完成繪制，最快更是能在1秒之內完成。
現(xiàn)在，清華大學聯(lián)合HuggingFace的研究人員，推出了全新的繪圖模型加速模塊。
作者給出的體驗版當中，點擊生成按鈕后，模型只用了幾秒鐘就繪制出了4張清晰的圖像。
這個加速模塊叫做LCM-LoRA，發(fā)布后不久就斬獲了2k+次GitHub星標。
它不僅加速能力強、泛化性能好，適配的模型也很廣泛，SD系和LoRA模型都能用它來加速。
團隊基于LCM-LoRA自行優(yōu)化的文生圖模型已在HuggingFace上開放體驗，圖生圖模型也推出了CoLab等版本。
AI繪圖工具迅速接入
LCM-LoRA開源后不久，就有AI繪圖工具廠商Scenario宣布將基于它推出“實時繪圖”功能。
Scenario的CEO還在上親自展示了即將上線的實時繪圖功能DEMO。
只見一邊在繪制草圖，另一邊AI就把相應的畫作繪制好了，時間上幾乎同步。
調整提示詞和有關參數(shù)，模型響應得也是干脆利落。
這些DEMO發(fā)布后，引發(fā)了眾人的一致贊嘆。
那么，LCM-LoRA這個加速模塊到底有多強，又是怎樣實現(xiàn)的呢？
“跳步”降低內存開銷
LCM-LoRA將LoRA引入潛在一致性模型（LCM）的蒸餾過程，顯著減少了訓練內存開銷，從而提高性能。
而LCM是從潛擴散模型（LDM）中蒸餾出來的，“蒸餾”的過程也可以看做是對擴散模型的微調。
它的核心思想是在圖像的隱變量空間中學習一致性映射函數(shù)，該函數(shù)可以直接將擴散過程中的任意點映射到終點，即微分方程的解。
通過這種一致性映射，LCM可以跳過迭代采樣過程，直接進行少步甚至一步采樣，從而極大地加速了圖像的生成。
而隱變量空間操作相比基于像素空間的方法，計算復雜度和內存需求也更低。
結合LoRA后，只需要訓練低秩分解矩陣，可訓練參數(shù)量和內存開銷進一步減少，應用范圍也從單純的文生圖擴展到了圖生圖和視頻生成。
最直觀體現(xiàn)的就是我們看到的秒速出圖，而訓練時間上，LCM-LoRA優(yōu)化后的模型在A100上訓練只需32個GPU時。
訓練時間縮短的背后，也于訓練參數(shù)量大幅減少密切相關：
- SD-V1.5全量參數(shù)為9.8億，使用LoRA后可訓練參數(shù)減少到6750萬，約減少了93.1%。
- SSD-1B參數(shù)從13億減少到1.05億，約減少了91.9%。
- SDXL參數(shù)從35億減少到1.97億，約減少了94.3%。
不僅是訓練消耗的降低，推理過程中的步數(shù)也大幅減少，一般只需要4步推理就能繪制出質量不錯的圖像。
有時甚至只要一步就能完成，用時還不到1秒，F(xiàn)ID分數(shù)（越低越好）在50以下。
不僅加速性能優(yōu)異，LCM-LoRA的適配性也十分廣泛。
LCM-LoRA訓練得到的LoRA參數(shù)又稱為加速向量，可以數(shù)據(jù)集上微調得到的LoRA參數(shù)直接線性組合，不需要額外訓練。
這種組合方式使得LCM-LoRA成為一個可直接插接到各種微調模型中的通用圖像生成加速模塊。
作者簡介
LCM和LCM-LoRA論文的兩位主要作者是來自清華大學交叉信息研究院的研究生駱思勉（Simian Luo）和譚亦欽（Yiqin Tan）。
清華叉院的黃隆波副教授、李建副教授和趙行助理教授也參與了這兩項研究。
在LCM-LoRA的工作中，來自HuggingFace的研究人員亦有貢獻。
論文地址：
[1]https://arxiv.org/abs/2310.04378
[2]https://arxiv.org/abs/2311.05556
開源項目頁：
https://github.com/luosiallen/latent-consistency-model
文生圖在線體驗（HuggingFace）：
https://huggingface.co/spaces/SimianLuo/Latent_Consistency_Model
圖生圖Colab筆記：
https://colab.research.google.com/github/camenduru/latent-consistency-model-colab/blob/main/latent_consistency_model_webui_colab.ipynb
熱門課程推薦
熱門資訊
-
想將照片變成漫畫效果？這篇文章分享了4個方法，包括Photoshop、聰明靈犀、VanceAI Toongineer、醒圖，簡單操作就能實現(xiàn)，快來嘗試一下吧！
-
2. 華為手機神奇“AI修圖”功能，一鍵消除衣服！原圖變身大V領深V！
最近華為手機Pura70推出的“AI修圖”功能引發(fā)熱議，通過簡單操作可以讓照片中的人物換裝。想了解更多這款神奇功能的使用方法嗎？點擊查看！
-
近年來,人工智能逐漸走入公眾視野,其中的AI圖像生成技術尤為引人注目。只需在特定軟件中輸入關鍵詞描述語以及上傳參考圖就能智能高效生成符合要求的...
-
4. AI視頻制作神器Viggle：讓靜態(tài)人物動起來，創(chuàng)意無限！
Viggle AI是一款免費制作視頻的AI工具，能讓靜態(tài)人物圖片動起來，快來了解Viggle AI的功能和優(yōu)勢吧！
-
5. Logo Diffusion——基于sd繪畫模型的AI LOGO 生成器
這下LOGO設計徹底不用求人了。接下來詳細演示一遍操作流程首先進入Logo D... 想學習更多AI技能,比如說關于怎么樣利用AI來提高生產(chǎn)效率、還能做什么AI...
-
6. 零基礎10分鐘生成漫畫，教大家如何用AI生成自己的漫畫
接下來,我將親自引導你,使用AI工具,創(chuàng)作一本既有趣又能帶來盈利的漫畫。我們將一起探索如何利用這個工具,發(fā)揮你的創(chuàng)意,制作出令人驚嘆的漫畫作品。讓...
-
7. 趕緊收藏好!這4個完全免費的AI視頻制作網(wǎng)站和工具
以下是一些免費的AI視頻制作網(wǎng)站或工具,幫助您制作各種類型的視頻。 1. Lumen5:Lumen5是一個基于AI的視頻制作工具,可將文本轉換為視頻。 用戶可以使...
-
8. AI顯卡繪畫排行榜:4090無懸念，最具性價比出人意料
在AI繪圖領域，Stable Diffusion的顯卡繪圖性能備受關注。本文整理了Stable Diffusion顯卡的硬件要求和性能表現(xiàn)，以及2023年3月顯卡AI繪圖效率排行榜和性價比排行榜。歡迎查看最新的AI顯卡算力排行榜。
-
9. 一款免費無限制的AI視頻生成工具火了!國內無障礙訪問!附教程
人人都可以動手制作AI視頻! 打開網(wǎng)址https://pixverse.ai/,用郵箱注冊后,點擊右上角Create,就可以開始創(chuàng)作了。 PixVerse目前有文案生成視頻,和圖片生...
-
就能快速生成一幅極具藝術效果的作品,讓現(xiàn)實中不懂繪畫的人也能參與其中創(chuàng)作!真的超贊噠~趣趣分享幾款超厲害的AI繪畫軟件,提供詳細操作!有需要的快來...
