發(fā)布時間:2024-08-16 20:44:11 瀏覽量:140次
自從OpenAI公布了Sora,視頻生成領(lǐng)域正式按下了行業(yè)加速鍵,許多國內(nèi)外企業(yè)紛紛發(fā)力,不僅研究發(fā)布專門用于視頻生成的垂直大模型,還將手里的技術(shù)封裝成一個個人人能用的AIGC產(chǎn)品。
隨著新玩家數(shù)量的劇增,這場視頻生成領(lǐng)域的戰(zhàn)爭愈演愈烈,其中受到?jīng)_擊最大的自然是老牌同類競品模型,比如Pika、SDV、谷歌、Meta,還有在昨天發(fā)布了第三代視頻生成模型Gen-3 Alpha的Runway。
Runway深夜發(fā)布的各種演示視頻展示出了電影級的畫面細節(jié),直接震驚了全體網(wǎng)友。Gen-3與之前的旗艦視頻模型Gen-2相比,在模型生產(chǎn)速度和保真度方面有了重大提升,同時對生成視頻的結(jié)構(gòu)、風格和運動提供了細粒度的控制。
Runway表示,Gen-3 Alpha具有高保真視頻、精細動作控制、逼真人物生成、多模態(tài)輸入、專業(yè)創(chuàng)作工具、增強安全、高質(zhì)量訓(xùn)練等特點。在這次模型的訓(xùn)練過程中,匯集了研究者、工程師和藝術(shù)家的集體智慧和努力。正是這種跨學科的協(xié)作精神,使得Gen-3 Alpha模型能夠理解和表達多種風格和電影概念。
官方展示視頻時長為10秒,人物生成中的人物面部細節(jié)和情感營造方面比較細膩,場景、風景生成中的元素、光影沒有太大的違和感。友情提示,以下展示內(nèi)容因為要轉(zhuǎn)換為GIF,所以畫質(zhì)均有不同程度壓縮,想看原視頻的朋友可以去Runway官網(wǎng)復(fù)習下。
圖源:Runway
男子似乎在類似電影院的昏暗地方觀看影視作品,雙眼微紅、眼球轉(zhuǎn)動、眨眼以及嘴部輕微抽動等細節(jié)還原度非常高。
圖源:Runway
一間破舊的屋子,地面被魔法轉(zhuǎn)化成植物門,植物在陽光下隨風飄揚,隨著鏡頭向前推進展現(xiàn)更多細節(jié)。
圖源:Runway
一團火焰漂浮半空,在街道游蕩,火焰細節(jié)明顯比其他元素要難掌握,邊緣有些飄忽,加上虛化背景上的人們也有滑行的動作。
圖源:Runway
接下來是本人最喜歡的一個視頻,電影級別的鏡頭推進仿佛一下就將人們帶進了宏大的異世界,如果小雷沒有記錯的話,侏羅紀公園、金剛等電影經(jīng)常用這種鏡頭。鏡頭背景太廣,因此也不奢望能展示多少細節(jié),至少大體看上去沒發(fā)現(xiàn)什么瑕疵。
圖源:Runway
盡管大家看到基于Gen-3生成的短視頻都很激動,但還是得稍微冷靜冷靜,因為Runway暫時不提供Gen-3的使用。預(yù)計還要再過幾天,它才會向Runway訂閱用戶開放,包括企業(yè)客戶和Runway創(chuàng)意合作伙伴計劃中的創(chuàng)作者。
也就是說,普通用戶短時間內(nèi)還是無法使用Gen-3,只能用Gen-2解解饞。說起來,小雷還沒體驗過Runway的視頻生成模型,Gen-2就Gen-2吧,通過對比看看Gen-3的升級幅度是不是真有那么大。
進入生成界面,小雷立馬感受到了Runway與視頻生成產(chǎn)品的不同。用戶不僅可以采用“傻瓜式”一鍵輸入關(guān)鍵詞生成,還能對主體運動強度、相機控制、運動軌跡等細節(jié)進行微調(diào),至于風格、縱橫比、清晰度也是標配了。
圖源:Runway
但也有要強烈吐槽的地方,那就是視頻生成需要排隊,用戶要么等待,要么只能選擇升級訂閱套餐,也就是付費。小雷體驗過這么多國內(nèi)外視頻生成大模型應(yīng)用,這是我第一次遇到這種情況。
圖源:Runway
這是小雷生成的第一個視頻,生成4s的視頻花了大概2分鐘,原本想生成一個CGI風格的荒原視頻,但這效果直接給我來了一記重擊。看這個視頻時直接讓我想起了CS畫風,草叢“蠕動”異常難看,視頻中所有房子的屋頂均有不同程度的頻閃,給人一種置身異次元空間的感覺。
圖源:Runway
第二個視頻的關(guān)鍵詞是“臉上有雀斑的紅發(fā)年輕人注視窗外”,最終呈現(xiàn)結(jié)果大家看看就好,能感覺Gen-2在努力營造光線在人物面部漸變的層次感,然而效果并不自然,人物臉上的雀斑沒識別到,脖子被胡須侵襲成了蛇皮狀,人物想眨眼又眨不了的樣子一言難盡。
圖源:Runway
生成了兩個視頻后,小雷實在體驗不下去了,感覺Gen-2的水平還停留在2024年視頻生成模型剛出來的階段,與現(xiàn)在市面上其他視頻生成模型完全不在一個檔次上。無論是人物還是風景,基于Gen-2生成視頻給人的最大感受就是不真實,也難怪Runway對Gen-3的描述是“巨大提升”。
體驗完Gen-2這個上代旗艦,小雷才真正感受到Gen-3的強大。不與其他視頻生成模型比較,Runway在超越自己這件事上就已經(jīng)贏了。
小雷注意到不少網(wǎng)友可能是拿到了內(nèi)測資格,在網(wǎng)上分享自己的試用作品,視頻效果與官方展示視頻大體相同,因此大家也不用擔心未來Gen-3公開版本“縮水”的情況。不過在Gen-3真正上線前,大家還是得耐心等待。
Runway成立于2018年,是一家專注在線視頻剪輯制作的網(wǎng)站。團隊致力于將AI技術(shù)運用到視頻處理中,開發(fā)了根據(jù)文本生成圖像、根據(jù)圖像生成風格化變體、圖像延展外繪等功能,為后續(xù)的視頻生成技術(shù)奠定了基礎(chǔ)。
Runway本次發(fā)布的第三代視頻生成模型Gen-3 Alpha展示效果驚艷,已經(jīng)超越了Sora。而Sora自發(fā)布以來一直未能公開使用,為其他視頻生成模型留下了發(fā)展空間。
視頻生成技術(shù)的競爭進入加速階段,市場預(yù)測顯示,人工智能將主導(dǎo)數(shù)字內(nèi)容創(chuàng)作,AI生成內(nèi)容的市場規(guī)模也將大幅增長。未來,視頻生成領(lǐng)域的競爭將更加激烈,重點將圍繞落地應(yīng)用和商業(yè)化展開。
行業(yè)中的變革與競爭共同推動著視頻生成領(lǐng)域的發(fā)展,讓我們拭目以待,期待更多創(chuàng)新技術(shù)的涌現(xiàn)。
熱門資訊
想將照片變成漫畫效果?這篇文章分享了4個方法,包括Photoshop、聰明靈犀、VanceAI Toongineer、醒圖,簡單操作就能實現(xiàn),快來嘗試一下吧!
2. 華為手機神奇“AI修圖”功能,一鍵消除衣服!原圖變身大V領(lǐng)深V!
最近華為手機Pura70推出的“AI修圖”功能引發(fā)熱議,通過簡單操作可以讓照片中的人物換裝。想了解更多這款神奇功能的使用方法嗎?點擊查看!
近年來,人工智能逐漸走入公眾視野,其中的AI圖像生成技術(shù)尤為引人注目。只需在特定軟件中輸入關(guān)鍵詞描述語以及上傳參考圖就能智能高效生成符合要求的...
4. AI視頻制作神器Viggle:讓靜態(tài)人物動起來,創(chuàng)意無限!
Viggle AI是一款免費制作視頻的AI工具,能讓靜態(tài)人物圖片動起來,快來了解Viggle AI的功能和優(yōu)勢吧!
5. Logo Diffusion——基于sd繪畫模型的AI LOGO 生成器
這下LOGO設(shè)計徹底不用求人了。接下來詳細演示一遍操作流程首先進入Logo D... 想學習更多AI技能,比如說關(guān)于怎么樣利用AI來提高生產(chǎn)效率、還能做什么AI...
6. 零基礎(chǔ)10分鐘生成漫畫,教大家如何用AI生成自己的漫畫
接下來,我將親自引導(dǎo)你,使用AI工具,創(chuàng)作一本既有趣又能帶來盈利的漫畫。我們將一起探索如何利用這個工具,發(fā)揮你的創(chuàng)意,制作出令人驚嘆的漫畫作品。讓...
7. 趕緊收藏好!這4個完全免費的AI視頻制作網(wǎng)站和工具
以下是一些免費的AI視頻制作網(wǎng)站或工具,幫助您制作各種類型的視頻。 1. Lumen5:Lumen5是一個基于AI的視頻制作工具,可將文本轉(zhuǎn)換為視頻。 用戶可以使...
8. 一款免費無限制的AI視頻生成工具火了!國內(nèi)無障礙訪問!附教程
人人都可以動手制作AI視頻! 打開網(wǎng)址https://pixverse.ai/,用郵箱注冊后,點擊右上角Create,就可以開始創(chuàng)作了。 PixVerse目前有文案生成視頻,和圖片生...
9. AI顯卡繪畫排行榜:4090無懸念,最具性價比出人意料
在AI繪圖領(lǐng)域,Stable Diffusion的顯卡繪圖性能備受關(guān)注。本文整理了Stable Diffusion顯卡的硬件要求和性能表現(xiàn),以及2023年3月顯卡AI繪圖效率排行榜和性價比排行榜。歡迎查看最新的AI顯卡算力排行榜。
就能快速生成一幅極具藝術(shù)效果的作品,讓現(xiàn)實中不懂繪畫的人也能參與其中創(chuàng)作!真的超贊噠~趣趣分享幾款超厲害的AI繪畫軟件,提供詳細操作!有需要的快來...
最新文章
同學您好!