火星網(wǎng)校
Stable Video Diffusion問世！3D合成功能引關(guān)注，網(wǎng)友：進(jìn)步太快
發(fā)布時(shí)間：2023-11-22 13:29:41 瀏覽量：122次
代碼權(quán)重已上線
西風(fēng) 發(fā)自 凹非寺
|
Stable Diffusion官方終于對(duì)視頻下手了——
發(fā)布生成式視頻模型Stable Video Diffusion（SVD）。
Stability AI官方博客顯示，全新SVD支持文本到視頻、圖像到視頻生成：
并且還支持物體從單一視角到多視角的轉(zhuǎn)化，也就是3D合成：
根據(jù)外部評(píng)估，官方宣稱SVD甚至比runway和Pika的視頻生成AI更受用戶歡迎。
雖然目前只發(fā)布了基礎(chǔ)模型，但官方透露“正計(jì)劃繼續(xù)擴(kuò)展，建立類似于Stable Diffusion的生態(tài)系統(tǒng)”。
目前論文代碼權(quán)重已上線。
最近視頻生成領(lǐng)域不斷出現(xiàn)新玩法，這次輪到Stable Diffusion下場(chǎng)，以至于網(wǎng)友們的第一反應(yīng)就是“快”，進(jìn)步太快！
但僅從Demo效果來說，更多網(wǎng)友們表示并沒有感到很驚喜。
雖然我喜歡SD，而且這些Demo也很棒……但也存在一些缺陷，光影不對(duì)、而且整體不連貫（視頻幀與幀之間閃爍）。
總歸來說這是個(gè)開始，網(wǎng)友對(duì)SVD的3D合成功能還滿是看好：
我敢打賭，很快就會(huì)有更好的東西出來，到時(shí)候只要描述一下，就會(huì)得到一個(gè)完整的3D場(chǎng)景。
SD視頻官方版來襲
除了上面展示的，官方還發(fā)布了更多Demo，先來看一波：
太空漫步也安排上：
背景不動(dòng)，只讓兩只鳥動(dòng)也可以：
SVD的研究論文目前也已發(fā)布，據(jù)介紹SVD基于Stable Diffusion 2.1，用約6億個(gè)樣本的視頻數(shù)據(jù)集預(yù)訓(xùn)練了基礎(chǔ)模型。
可輕松適應(yīng)各種下游任務(wù)，包括通過對(duì)多視圖數(shù)據(jù)集進(jìn)行微調(diào)從單個(gè)圖像進(jìn)行多視圖合成。
微調(diào)后，官方公布的是兩種圖像到視頻模型，可以以每秒3到30幀之間的自定義幀速率生成14（SVD）和25幀（SVD-XT）的視頻：
之后又微調(diào)了多視角視頻生成模型，叫做SVD-MV：
根據(jù)測(cè)試結(jié)果，在GSO數(shù)據(jù)集上，SVD-MV得分優(yōu)于多視角生成模型Zero123、Zero123XL、SyncDreamer：
值得一提的是，Stability AI表示SVD目前僅限于研究，不適用于實(shí)際或商業(yè)應(yīng)用。SVD目前也不是所有人都可以使用，但已開放用戶候補(bǔ)名單注冊(cè)。
視頻生成大爆發(fā)
最近視頻生成領(lǐng)域呈現(xiàn)出一種“混戰(zhàn)”的局面。
前有PikaLabs開發(fā)的文生視頻AI：
后又有號(hào)稱“史上最強(qiáng)大的視頻生成AIMoonvalley推出：
最近Gen-2的“運(yùn)動(dòng)筆刷”功能也正式上線，指哪畫哪：
這不現(xiàn)在SVD又出現(xiàn)了，又有要卷3D視頻生成的可能。
但文本到3D生成方面好像還沒有太多進(jìn)展，網(wǎng)友對(duì)這一現(xiàn)象也很是困惑。
有人認(rèn)為數(shù)據(jù)是阻礙發(fā)展的瓶頸：
還有網(wǎng)友表示原因在于強(qiáng)化學(xué)習(xí)還不夠強(qiáng)：
家人們對(duì)這方面的最新進(jìn)展有了解嗎？歡迎評(píng)論區(qū)分享～
論文鏈接：https://static1.squarespace.com/static/6213c340453c3f502425776e/t/655ce779b9d47d342a93c890/1700587395994/stable_video_diffusion.pdf
參考鏈接：
[1]https://stability.ai/news/stable-video-diffusion-open-ai-video-model
[2]https://news.ycombinator.com/item?id=38368287
熱門課程推薦
熱門資訊
-
1. 照片變漫畫效果，這4個(gè)方法操作簡(jiǎn)單有效，快來試試吧！
想將照片變成漫畫效果？這篇文章分享了4個(gè)方法，包括Photoshop、聰明靈犀、VanceAI Toongineer、醒圖，簡(jiǎn)單操作就能實(shí)現(xiàn)，快來嘗試一下吧！
-
2. 華為手機(jī)神奇“AI修圖”功能，一鍵消除衣服！原圖變身大V領(lǐng)深V！
最近華為手機(jī)Pura70推出的“AI修圖”功能引發(fā)熱議，通過簡(jiǎn)單操作可以讓照片中的人物換裝。想了解更多這款神奇功能的使用方法嗎？點(diǎn)擊查看！
-
近年來,人工智能逐漸走入公眾視野,其中的AI圖像生成技術(shù)尤為引人注目。只需在特定軟件中輸入關(guān)鍵詞描述語以及上傳參考圖就能智能高效生成符合要求的...
-
4. AI視頻制作神器Viggle：讓靜態(tài)人物動(dòng)起來，創(chuàng)意無限！
Viggle AI是一款免費(fèi)制作視頻的AI工具，能讓靜態(tài)人物圖片動(dòng)起來，快來了解Viggle AI的功能和優(yōu)勢(shì)吧！
-
5. Logo Diffusion——基于sd繪畫模型的AI LOGO 生成器
這下LOGO設(shè)計(jì)徹底不用求人了。接下來詳細(xì)演示一遍操作流程首先進(jìn)入Logo D... 想學(xué)習(xí)更多AI技能,比如說關(guān)于怎么樣利用AI來提高生產(chǎn)效率、還能做什么AI...
-
6. 零基礎(chǔ)10分鐘生成漫畫，教大家如何用AI生成自己的漫畫
接下來,我將親自引導(dǎo)你,使用AI工具,創(chuàng)作一本既有趣又能帶來盈利的漫畫。我們將一起探索如何利用這個(gè)工具,發(fā)揮你的創(chuàng)意,制作出令人驚嘆的漫畫作品。讓...
-
7. AI顯卡繪畫排行榜:4090無懸念，最具性價(jià)比出人意料
在AI繪圖領(lǐng)域，Stable Diffusion的顯卡繪圖性能備受關(guān)注。本文整理了Stable Diffusion顯卡的硬件要求和性能表現(xiàn)，以及2023年3月顯卡AI繪圖效率排行榜和性價(jià)比排行榜。歡迎查看最新的AI顯卡算力排行榜。
-
8. 趕緊收藏好!這4個(gè)完全免費(fèi)的AI視頻制作網(wǎng)站和工具
以下是一些免費(fèi)的AI視頻制作網(wǎng)站或工具,幫助您制作各種類型的視頻。 1. Lumen5:Lumen5是一個(gè)基于AI的視頻制作工具,可將文本轉(zhuǎn)換為視頻。 用戶可以使...
-
就能快速生成一幅極具藝術(shù)效果的作品,讓現(xiàn)實(shí)中不懂繪畫的人也能參與其中創(chuàng)作!真的超贊噠~趣趣分享幾款超厲害的AI繪畫軟件,提供詳細(xì)操作!有需要的快來...
-
10. 10個(gè)建筑AI工具，從設(shè)計(jì)到施工全覆蓋!肯定有你從來沒聽過的
講述了建筑業(yè)比較著名的AI公司小庫科技做出的探索,在這兒就不多說了。今天,我們?cè)囍谝?guī)劃設(shè)計(jì)、建筑方案設(shè)計(jì)、住宅設(shè)計(jì)、管道設(shè)計(jì)、出渲染圖、3D掃...
最新文章
