激情六月丁香婷婷|亚洲色图AV二区|丝袜AV日韩AV|久草视频在线分类|伊人九九精品视频|国产精品一级电影|久草视频在线99|在线看的av网址|伊人99精品无码|午夜无码视频在线

高校合作1：010-59833514 ?咨詢電話：400-810-1418 服務(wù)與監(jiān)督電話：400-810-1418轉(zhuǎn)接2

使用虛幻5與AI技術(shù)將文本轉(zhuǎn)化成MV

發(fā)布時(shí)間：2024-01-05 16:07:35 瀏覽量：182次

如果只使用文字，就能創(chuàng)作出一部以《阿基拉》為靈感的賽博朋克影片，那會(huì)怎么樣？對(duì)于藝術(shù)家團(tuán)體Sagans來說，這是一個(gè)值得開拓的未來。最近，他們使用虛幻引擎的MetaHuman技術(shù)，同時(shí)配合AI算法，僅憑文本描述就為其首部音樂錄影帶《Coherence》生成了大部分鏡頭。


在最終成品所描繪的后現(xiàn)代圖景中，一位女性正在新城市中尋找著屬于自己的位置，畫面采用素描風(fēng)格，鏡頭伴隨著音樂不斷移動(dòng)，從明亮的櫻花樹轉(zhuǎn)場(chǎng)至紐約地鐵。Sagans的藝術(shù)家們共同展示了，AI不一定預(yù)示著我們的工作（甚至整個(gè)世界）將被它接管的可怕前景。相反，它可能會(huì)成為釋放我們?nèi)聞?chuàng)作潛力的關(guān)鍵。



顛覆音樂行業(yè)


根據(jù)Sagans的3D專家Aurelien的說法，《Coherence》準(zhǔn)確地代表了這個(gè)團(tuán)體所要實(shí)現(xiàn)的目標(biāo)?！拔覀兏杏X，音樂行業(yè)不愿意冒險(xiǎn)，除非存在利益驅(qū)動(dòng)因素?！彼忉屨f，“因此靠譜的內(nèi)容開始減少，這正是促使我們創(chuàng)辦Sagans的最初原因?！?/p>



Sagans團(tuán)體由音樂家、美術(shù)設(shè)計(jì)師和研究人員組成，他們?cè)谥谱鞯谝徊恳魳蜂浻皫е埃⒉恍枰却枨鷦?chuàng)作完成。這為團(tuán)隊(duì)提供了更多的時(shí)間和自由，探索如何通過人工智能和實(shí)時(shí)圖形等技術(shù)實(shí)現(xiàn)愿景。


“虛幻引擎5是我們最先決定采用的技術(shù)，”Aurelien繼續(xù)說，“我們首先通過Quixel資產(chǎn)庫創(chuàng)建了整個(gè)世界，緊接著，我們采用MetaHuman Creator創(chuàng)造了逼真的角色。這為我們改變了一切。突然間，我們就可以在短時(shí)間內(nèi)制作出漂亮的東西了。我們知道，我們已經(jīng)準(zhǔn)備就緒，可以開始制作《Coherence》了。”


添加AI


起初，團(tuán)隊(duì)決定使用大友克洋的經(jīng)典動(dòng)畫《阿基拉》的風(fēng)格，為視頻的審美奠定基礎(chǔ)。下一步就創(chuàng)造視頻中的女主角。“在使用虛幻引擎工作之前，我們對(duì)3D世界不是很熟悉，”Aurelien說，“乍看之下，創(chuàng)造角色似乎是一項(xiàng)非常復(fù)雜的任務(wù)。幸運(yùn)的是，MetaHuman Creator讓事情變簡(jiǎn)單了?！?/p>



為了創(chuàng)造讓觀眾感覺親切的角色，團(tuán)隊(duì)混合了MetaHuman數(shù)據(jù)庫中三張面孔的元素，找到了自己喜歡的結(jié)果。接下來，他們使用iOS的Live Link Face應(yīng)用，為角色制作了面部表情動(dòng)畫。與此同時(shí)，Sagans的藝術(shù)家們還開始使用Quixel構(gòu)建視頻的虛幻引擎環(huán)境，從日本風(fēng)格的英國(guó)街道，到紐約的地鐵，應(yīng)有盡有。



“創(chuàng)建環(huán)境時(shí)，Lumen發(fā)揮了至關(guān)重要的作用，”Aurelien解釋說，“有了它，我們能夠在不使用大量硬件資源的前提下實(shí)時(shí)處理光照。再配合使用Niagara創(chuàng)造雨水等粒子，在短短幾秒鐘內(nèi)，我們就可以生成與用戶界面中完全一致的渲染。”


最后一步是根據(jù)場(chǎng)景的需要，通過三套獨(dú)立的AI算法生成虛幻引擎輸出，營(yíng)造最終的大友克洋風(fēng)格。第一套算法允許Sagans的藝術(shù)家使用文本描述場(chǎng)景風(fēng)格，然后以視頻形式將其表現(xiàn)出來。第二套算法會(huì)使用參考圖像制作動(dòng)畫視頻，而最后一套算法可將實(shí)景真人電影轉(zhuǎn)變成風(fēng)格化的動(dòng)畫影片。


“在大多數(shù)鏡頭中，我們都用到了文本轉(zhuǎn)視頻算法。”Aurelien補(bǔ)充說，“為此，我們使用Disco Diffusion 5幫助生成單獨(dú)的幀，然后通過算法將這些幀轉(zhuǎn)變成視頻。我們必須確保文本內(nèi)容非常詳細(xì)，不僅能描述出風(fēng)格，還要填補(bǔ)所有紕漏：如果沒有提到天空，機(jī)器可能會(huì)忘記城市頂部必須有一片天空。在得到不錯(cuò)的第一幀畫面之后，我們還要根據(jù)運(yùn)鏡的需要，提供足夠的描述，生成接下來的幀，然后在第20幀處最后一次檢查渲染。”



使用虛幻引擎的成果


由于使用了獨(dú)特的實(shí)時(shí)3D和AI工作流程，從第一個(gè)鏡頭到《Coherence》的最終渲染，整個(gè)過程只花了三位Sagans創(chuàng)作者八周時(shí)間?！拔覀兿胍环N既簡(jiǎn)單易用又足夠快速的解決方案，幫助我們迅速實(shí)現(xiàn)愿景，虛幻引擎沒有讓我們失望?！盇urelien補(bǔ)充說，“只需幾次點(diǎn)擊，我們就可以輕松創(chuàng)建極其精細(xì)的角色和城市環(huán)境，在沒有動(dòng)作捕捉服的情況下為女主角制作動(dòng)畫。”


現(xiàn)在，《Coherence》已創(chuàng)作完成，團(tuán)隊(duì)計(jì)劃在未來的音樂錄影帶項(xiàng)目中繼續(xù)使用虛幻引擎和AI。“第一次發(fā)布內(nèi)容通常會(huì)讓人傷腦筋，但《Coherence》取得了出色的反響，”Aurelien總結(jié)說，“我們希望人們明白，人工智能的出現(xiàn)是為了協(xié)助和激勵(lì)我們，而不是搶走我們的工作，這個(gè)錄影帶正是我們實(shí)現(xiàn)這個(gè)目標(biāo)的第一步。”


本文轉(zhuǎn)自虛幻引擎官網(wǎng)~

熱門課程推薦

熱門資訊

請(qǐng)綁定手機(jī)號(hào)

獲取驗(yàn)證碼
x

同學(xué)您好！

您已成功報(bào)名0元試學(xué)活動(dòng)，老師會(huì)在第一時(shí)間與您取得聯(lián)系，請(qǐng)保持電話暢通！
確定