火星網(wǎng)校
游戲玩家力薦！AI對(duì)話內(nèi)容生成3D動(dòng)作，比真人還“活”
發(fā)布時(shí)間：2024-08-11 13:23:12 瀏覽量：101次
游戲玩家力薦！AI對(duì)話內(nèi)容生成3D動(dòng)作，比真人還“活”
你有沒有看過油管很火的外國(guó)小姐姐模仿游戲NPC視頻？
這僵硬的姿勢(shì)、空洞的眼神、面癱的表情，讓游戲玩家們直呼DNA動(dòng)了！
如果你也苦于此很久了，現(xiàn)在，網(wǎng)易的一項(xiàng)新技術(shù)將輕松改變這一局面：
只需一段語(yǔ)音，AI就能自動(dòng)生成3D對(duì)話動(dòng)作，效果甚至超越真人！
不僅能按角色的性別、說話的習(xí)慣和姿態(tài)，合成不同風(fēng)格的動(dòng)作，還可自由替換或指定待定動(dòng)作。
目前，該技術(shù)已在語(yǔ)音合成手勢(shì)動(dòng)作領(lǐng)域的權(quán)威賽事GENEA 2024上斬獲第一，并被ICMI 2024收錄。
效果超越真人的新技術(shù)
在此之前，業(yè)界最常用的語(yǔ)音合成對(duì)話動(dòng)作技術(shù)是StyleGestures。
該技術(shù)由美國(guó)藝電推出，曾在兩年前的第一屆GENEA 2020中取得第一。
但與真實(shí)動(dòng)捕數(shù)據(jù)相比，StyleGestures合成的動(dòng)作仍有明顯的機(jī)械感，且缺少可控性，不同的語(yǔ)音合成效果很隨機(jī)，有種碰運(yùn)氣的感覺。
為了解決這兩個(gè)問題，網(wǎng)易的新技術(shù)分為離線的數(shù)據(jù)庫(kù)構(gòu)建和在線的語(yǔ)音驅(qū)動(dòng)動(dòng)作合成兩個(gè)模塊進(jìn)行。
數(shù)據(jù)庫(kù)構(gòu)建
GENEA 2024主辦方發(fā)布的18小時(shí)數(shù)據(jù)集中，包括不同說話人的語(yǔ)音、文本和對(duì)應(yīng)的全身動(dòng)作。
由于沒有經(jīng)過人工的清洗和處理，導(dǎo)致動(dòng)作數(shù)據(jù)中有很大一部分的動(dòng)作質(zhì)量較差。
因此，研究人員需要先對(duì)此進(jìn)行預(yù)處理：舍棄動(dòng)作質(zhì)量較差的數(shù)據(jù)、完善不帶手指旋轉(zhuǎn)信息的動(dòng)作、再通過左右對(duì)稱的方式生成更多的數(shù)據(jù)集。
其次，根據(jù)說話文本單詞之間的時(shí)間間隔，將連續(xù)的文本切分為短片段。
并且針對(duì)時(shí)長(zhǎng)小于1s的連續(xù)動(dòng)作進(jìn)行合并，對(duì)左右半身的動(dòng)作進(jìn)行鏡像擴(kuò)充，最終得到約6000個(gè)全身動(dòng)作片段，以及時(shí)長(zhǎng)范圍從1s的短句到超過10s的長(zhǎng)句。
接下來(lái)是對(duì)動(dòng)作節(jié)奏和語(yǔ)音節(jié)奏進(jìn)行自動(dòng)標(biāo)注。
動(dòng)作方面，說話人每做出一個(gè)變化的手勢(shì)，就對(duì)應(yīng)于一個(gè)節(jié)奏變化的時(shí)間點(diǎn)，簡(jiǎn)單來(lái)說就是特定單詞重音時(shí)需要手勢(shì)進(jìn)行一次變化，即手勢(shì)有一個(gè)明顯的速度變化的過程。
因此通過計(jì)算雙手速度的極小值，把每個(gè)極小值的時(shí)間點(diǎn)作為節(jié)奏的時(shí)間點(diǎn)，最后每個(gè)動(dòng)作片段的節(jié)奏可以表示為長(zhǎng)度為32位的0-1向量，1表示手勢(shì)動(dòng)作變化的時(shí)間點(diǎn)。
語(yǔ)音驅(qū)動(dòng)動(dòng)作合成
在離線建立動(dòng)作庫(kù)之后，就可以輸入任意一段語(yǔ)音和對(duì)應(yīng)的文本進(jìn)行在線合成。
在對(duì)語(yǔ)音和文本進(jìn)行算法自動(dòng)切分后，利用訓(xùn)練后的StyleGestures這一概率生成式的神經(jīng)網(wǎng)絡(luò)模型，生成期望的動(dòng)作。
其中，上半身的動(dòng)作最為重要，研究人員利用動(dòng)態(tài)規(guī)劃算法，從構(gòu)建的動(dòng)作圖中搜索動(dòng)作節(jié)奏和動(dòng)作風(fēng)格嵌入匹配誤差最小的動(dòng)作序列，同時(shí)保證前后動(dòng)作的過渡代價(jià)小、過渡自然，最后輸出一個(gè)節(jié)奏匹配的上半身動(dòng)作序列。
下半身動(dòng)作的合成則不用考慮節(jié)奏，只考慮下半身動(dòng)作之間過渡的自然性即可，同樣經(jīng)過圖優(yōu)化得到一個(gè)下半身動(dòng)作序列。
最后，采用混合的方式融合上下半身動(dòng)作，就得到了和語(yǔ)音文本匹配的全身動(dòng)作序列。
與其他參賽系統(tǒng)相比，網(wǎng)易的新方法在在人類相似性評(píng)估中取得了最高的中位數(shù)分?jǐn)?shù)，甚至超越了真實(shí)人類水平。
在適當(dāng)性評(píng)價(jià)中，該方法在上半身表現(xiàn)中排名第一，在全身表現(xiàn)中排名第二。
研究團(tuán)隊(duì)
研究團(tuán)隊(duì)來(lái)自網(wǎng)易互娛AI Lab，作者共三人。
研究人員指出，這項(xiàng)新技術(shù)不僅可用于游戲中，虛擬角色線上演講、數(shù)字人動(dòng)作動(dòng)畫合成、元宇宙形象等等場(chǎng)景也都能使用。
論文鏈接附在文末，感興趣的小伙伴可以自取～
論文鏈接：
javascript:
熱門課程推薦
熱門資訊
-
想了解動(dòng)畫制作和影視特效的區(qū)別嗎？本文將帶您深入探討動(dòng)畫制作和影視特效之間的關(guān)系，幫助你更好地理解這兩者的差異。
-
2. 快影、剪映、快剪輯三款軟件對(duì)比評(píng)測(cè)，哪款更適合小白？
想知道快影、剪映、快剪輯這三款軟件哪個(gè)更適合小白？看看這篇對(duì)比評(píng)測(cè)，帶你了解這三款軟件的功能和特點(diǎn)，快速選擇適合自己的視頻剪輯軟件。
-
3. 剪映專業(yè)版時(shí)間軌道軌道調(diào)整技巧
剪映專業(yè)版新增全局預(yù)覽縮放功能，可以輕松放大或縮小時(shí)間軌道。學(xué)習(xí)如何使用時(shí)間線縮放功能，提升剪輯效率。
-
4. 豆瓣8.3《鐵皮鼓》|電影符號(hào)學(xué)背后的視覺盛宴、社會(huì)隱喻主題
文|悅兒(叮咚,好電影來(lái)了!)《鐵皮鼓》是施隆多夫最具代表性的作品,影片于... 分析影片的社會(huì)隱喻主題;以及對(duì)于普通觀眾來(lái)說,它又帶給我們哪些現(xiàn)實(shí)啟發(fā)...
-
5. 從宏觀蒙太奇思維、中觀敘事結(jié)構(gòu)、微觀剪輯手法解讀《花樣年華》
中觀層面完成敘事結(jié)構(gòu)、以及微觀層面的剪輯手法,3個(gè)層次來(lái)解讀下電影《花樣年華》的蒙太奇魅力。一、 宏觀層面:運(yùn)用蒙太奇思維構(gòu)建電影劇本雛形。蒙...
-
6. 零基礎(chǔ)怎么學(xué)習(xí)視頻剪輯?新手視頻剪輯教程
1、每個(gè)切點(diǎn)需要理由和動(dòng)機(jī) 很剪輯師認(rèn)為,賦予每一個(gè)切點(diǎn)動(dòng)機(jī)是非常困難的。很多...
-
7. 15種電影剪輯/轉(zhuǎn)場(chǎng)藝術(shù)，賦予影片絕妙魅力
15種電影剪輯/轉(zhuǎn)場(chǎng)手法，讓影片更吸引眼球！回顧電影中豐富多樣的專場(chǎng)技巧，比如瞬間從一個(gè)場(chǎng)景中變換到空中... 現(xiàn)在是測(cè)試技術(shù)的時(shí)候了！以下是一些常見剪輯手法，讓你觀影過程更加華麗動(dòng)人！
-
本文介紹了十款強(qiáng)大的PR視頻剪輯插件，幫助提升視頻剪輯效率，提高創(chuàng)作品質(zhì)，并降低創(chuàng)作難度。
-
9. 《肖申克的救贖》通過鏡頭語(yǔ)言，向觀眾展現(xiàn)了安迪自我救贖的過程
以突出劇情的緊張氛圍和角色的情感變化。此外,電影的拍攝手法和剪輯方案還與影片的敘事結(jié)構(gòu)和主題緊密相連。導(dǎo)演巧妙地運(yùn)用回憶、閃回和象征性鏡頭等...
-
10. 淺析電影的三種隱喻形式——白日夢(mèng)、鏡子、窺視窗
電影創(chuàng)作者可以通過表意、造型、畫面展示等元素對(duì)隱身性的含義進(jìn)行隱喻,打... 電影和夢(mèng)境都具有普遍性的象征意義,夢(mèng)境中的元素能夠代表人內(nèi)心的欲望,...
最新文章
