火星網(wǎng)校
視頻生成新特效:PixelDance，動(dòng)聽動(dòng)見的視覺盛宴
發(fā)布時(shí)間：2024-08-02 14:51:07 瀏覽量：221次
機(jī)器之心報(bào)道
機(jī)器之心編輯部
AI 生成的視頻終于能動(dòng)了。
最近，除了大語言模型繼續(xù)持續(xù)刷屏，視頻生成技術(shù)也取得了重大進(jìn)展，多家公司相繼發(fā)布了新模型。
首先，作為最早探索視頻生成領(lǐng)域的領(lǐng)頭羊之一，Runway 升級(jí)了其 Gen-2 模型，帶來了電影級(jí)別的高清晰度，令人矚目，并稱視頻生成的一致性得到了重大改進(jìn)。
但是，這種一致性的提升似乎是以犧牲視頻動(dòng)態(tài)性為代價(jià)的。近期，Meta 也發(fā)布了視頻生成模型 Emu Video，其視頻的動(dòng)態(tài)性比 Gen-2 有明顯提高，但仍然局限于較為簡單的動(dòng)作。
開發(fā)出了經(jīng)典的文生圖模型 Stable Diffusion 的公司 Stability.ai，也于近日發(fā)布了開源視頻生成模型 Stable Video Diffusion (SVD)，引發(fā)了開源社區(qū)的大量關(guān)注和討論。
SVD 論文里面提到了目前 SVD 生成的視頻存在動(dòng)態(tài)性不足的情況。
上述示例表明，生成有高度一致性且有豐富動(dòng)態(tài)性的視頻，讓視頻內(nèi)容真正地動(dòng)起來，是目前視頻生成領(lǐng)域中的最大挑戰(zhàn)。
在這方面，最新的研究成果 PixelDance 邁出了關(guān)鍵性的一步，其生成結(jié)果的動(dòng)態(tài)性顯著優(yōu)于目前現(xiàn)有的其它模型，引起了業(yè)界的關(guān)注。
Twitter知名AI博主@_akhaliq轉(zhuǎn)發(fā)的PixelDance新聞已有近8萬瀏覽量。
在官網(wǎng)中，PixelDance 給出了兩種不同的視頻生成模式。
第一種是基礎(chǔ)模式（Basic Mode），用戶只需要提供一張指導(dǎo)圖片+文本描述，PixelDance 就可以生成有高度一致性且有豐富動(dòng)態(tài)性的視頻，其中指導(dǎo)圖片可以是真實(shí)圖片，也可以利用現(xiàn)有的文生圖模型生成。
從展示的結(jié)果來看，真實(shí)風(fēng)格、動(dòng)畫風(fēng)格、二次元風(fēng)格、魔幻風(fēng)格，PixelDance 通通都可以解決，人物動(dòng)作、臉部表情、相機(jī)視角控制、特效動(dòng)作，Pixeldance 也都可以很好的完成。只能說一句 tql！
第二種是高級(jí)魔法模式（Magic Mode），給了用戶更多發(fā)揮想象力和創(chuàng)造力的空間。在這種模式下，用戶需要提供兩張指導(dǎo)圖片+文本描述，可以更好地生成更有難度的視頻內(nèi)容。網(wǎng)站中展示了用魔法模式做出的各種炫酷特效鏡頭。
除此之外，官網(wǎng)還展示了完全使用 PixelDance 制作的 3 分鐘故事短片：
使用 PixelDance 能按照用戶預(yù)想的一個(gè)故事，制作每一個(gè)場景和對(duì)應(yīng)的動(dòng)作。PixelDance 能生成細(xì)節(jié)豐富、動(dòng)作豐富的視頻，甚至各種特效鏡頭也不在話下。
主人公北極熊先生的黑色禮帽和紅色領(lǐng)結(jié)形象，在不同的場景中都得到了很好的保持。長視頻生成再也不是簡單的拼湊弱相關(guān)的短視頻片段了！
而達(dá)到這樣拔群的視頻生成效果，并沒有依賴復(fù)雜的數(shù)據(jù)集和大規(guī)模的模型訓(xùn)練，PixelDance 在公開的 WebVid-10M 數(shù)據(jù)集上僅用 1.5B 大小的模型就達(dá)到了上述效果。
論文地址：https://arxiv.org/abs/2311.10982
demo 地址：https://makepixelsdance.github.io
在相應(yīng)的論文《Make Pixels Dance: High-Dynamic Video Generation》中，作者指出了視頻生成難以做出好效果的原因：相比于圖片生成，視頻生成具有特征空間顯著更大、動(dòng)作多樣性顯著更強(qiáng)的特點(diǎn)。這就導(dǎo)致了現(xiàn)有的視頻生成方法難以學(xué)到有效的時(shí)域動(dòng)作信息，生成的視頻雖然圖片質(zhì)量較高，但動(dòng)態(tài)性非常有限。
針對(duì)上述問題，PixelDance 提出了基于文本指導(dǎo) + 首尾幀圖片指導(dǎo)的視頻生成方法，使得模型更充分地關(guān)注和學(xué)習(xí)視頻的動(dòng)態(tài)信息。
其中，首幀圖片指導(dǎo)為整個(gè)視頻內(nèi)容提供了框架和素材。通過將上一個(gè)視頻片段的尾幀拿來作為下一個(gè)視頻片段的首幀指導(dǎo)，可以生成更長的視頻。文本描述提供了對(duì)視頻動(dòng)作的描述。尾幀圖片指導(dǎo)為視頻生成過程提供了結(jié)束狀態(tài)的信息。作者提出了適配的方法，使得模型能接收比較粗糙的圖片作為指導(dǎo)，這使得用戶可以使用基本的圖片編輯工具獲得尾幀圖片指導(dǎo)。
官網(wǎng)的信息顯示，目前還在積極地迭代模型效果中，未來 2-3 個(gè)月內(nèi)就會(huì)放出人人可以試用的模型。目前，作者也提供了途徑支持大家發(fā)送想要測試的樣例，目前官網(wǎng)中已經(jīng)放出了一些用戶的測試樣例：
如此看來，有了 PixelDance，只要有天馬行空的想象力，人人都可以成為「百萬特效大師」！
熱門課程推薦
熱門資訊
-
1. 照片變漫畫效果，這4個(gè)方法操作簡單有效，快來試試吧！
想將照片變成漫畫效果？這篇文章分享了4個(gè)方法，包括Photoshop、聰明靈犀、VanceAI Toongineer、醒圖，簡單操作就能實(shí)現(xiàn)，快來嘗試一下吧！
-
2. 華為手機(jī)神奇“AI修圖”功能，一鍵消除衣服！原圖變身大V領(lǐng)深V！
最近華為手機(jī)Pura70推出的“AI修圖”功能引發(fā)熱議，通過簡單操作可以讓照片中的人物換裝。想了解更多這款神奇功能的使用方法嗎？點(diǎn)擊查看！
-
近年來,人工智能逐漸走入公眾視野,其中的AI圖像生成技術(shù)尤為引人注目。只需在特定軟件中輸入關(guān)鍵詞描述語以及上傳參考圖就能智能高效生成符合要求的...
-
4. AI視頻制作神器Viggle：讓靜態(tài)人物動(dòng)起來，創(chuàng)意無限！
Viggle AI是一款免費(fèi)制作視頻的AI工具，能讓靜態(tài)人物圖片動(dòng)起來，快來了解Viggle AI的功能和優(yōu)勢吧！
-
5. Logo Diffusion——基于sd繪畫模型的AI LOGO 生成器
這下LOGO設(shè)計(jì)徹底不用求人了。接下來詳細(xì)演示一遍操作流程首先進(jìn)入Logo D... 想學(xué)習(xí)更多AI技能,比如說關(guān)于怎么樣利用AI來提高生產(chǎn)效率、還能做什么AI...
-
6. 零基礎(chǔ)10分鐘生成漫畫，教大家如何用AI生成自己的漫畫
接下來,我將親自引導(dǎo)你,使用AI工具,創(chuàng)作一本既有趣又能帶來盈利的漫畫。我們將一起探索如何利用這個(gè)工具,發(fā)揮你的創(chuàng)意,制作出令人驚嘆的漫畫作品。讓...
-
7. 趕緊收藏好!這4個(gè)完全免費(fèi)的AI視頻制作網(wǎng)站和工具
以下是一些免費(fèi)的AI視頻制作網(wǎng)站或工具,幫助您制作各種類型的視頻。 1. Lumen5:Lumen5是一個(gè)基于AI的視頻制作工具,可將文本轉(zhuǎn)換為視頻。 用戶可以使...
-
8. 一款免費(fèi)無限制的AI視頻生成工具火了!國內(nèi)無障礙訪問!附教程
人人都可以動(dòng)手制作AI視頻! 打開網(wǎng)址https://pixverse.ai/,用郵箱注冊后,點(diǎn)擊右上角Create,就可以開始創(chuàng)作了。 PixVerse目前有文案生成視頻,和圖片生...
-
9. AI顯卡繪畫排行榜:4090無懸念，最具性價(jià)比出人意料
在AI繪圖領(lǐng)域，Stable Diffusion的顯卡繪圖性能備受關(guān)注。本文整理了Stable Diffusion顯卡的硬件要求和性能表現(xiàn)，以及2023年3月顯卡AI繪圖效率排行榜和性價(jià)比排行榜。歡迎查看最新的AI顯卡算力排行榜。
-
就能快速生成一幅極具藝術(shù)效果的作品,讓現(xiàn)實(shí)中不懂繪畫的人也能參與其中創(chuàng)作!真的超贊噠~趣趣分享幾款超厲害的AI繪畫軟件,提供詳細(xì)操作!有需要的快來...
最新文章
