火星網(wǎng)校
從個(gè)人到集體，邁向更多元的3D人體動(dòng)作生成技術(shù)
發(fā)布時(shí)間：2024-06-27 13:09:22 瀏覽量：176次
近期關(guān)注的3D人體動(dòng)作生成技術(shù)受到越來越多的關(guān)注，探索更加全面且多樣化的動(dòng)作生成方法。新技術(shù)基于GAN和Transformer框架，不僅支持單人動(dòng)作生成，還能輕松拓展到多人動(dòng)作生成。通過構(gòu)建GTA Combat數(shù)據(jù)集，填補(bǔ)了現(xiàn)有復(fù)雜場(chǎng)景交互數(shù)據(jù)集的不足。
ActFormer框架支持多種類型的人體動(dòng)作表征，實(shí)現(xiàn)單人/多人動(dòng)作生成
簡(jiǎn)介
3D人體動(dòng)作生成是計(jì)算機(jī)視覺和圖形學(xué)中的熱門話題，特別是近期的文本描述生成人體動(dòng)作研究更受關(guān)注。現(xiàn)有工作局限于某些人體表征，忽略多人動(dòng)作生成，因此需要更通用的框架支持多種人體動(dòng)作表征和單人/多人動(dòng)作生成。
具體方法
Actformer框架圖
Actformer可以生成含有多個(gè)個(gè)體的人體動(dòng)作序列，支持骨架坐標(biāo)或SMPL參數(shù)模型表示。單人動(dòng)作生成需要考慮時(shí)序連貫性，采用高斯過程隱式先驗(yàn)和Transformer生成網(wǎng)絡(luò)。
多人動(dòng)作生成通過交互Transformer和時(shí)序Transformer結(jié)構(gòu)實(shí)現(xiàn)，共享隱式表征，保證生成結(jié)果同步。
生成過程采用生成對(duì)抗訓(xùn)練，通過條件Wasserstein GAN損失函數(shù)訓(xùn)練。實(shí)驗(yàn)中，考慮了人的全局位移并應(yīng)用了數(shù)據(jù)增強(qiáng)方案。
GTA Combat數(shù)據(jù)集
為彌補(bǔ)多人交互數(shù)據(jù)集的缺乏，基于GTA-V游戲引擎合成了多人打架數(shù)據(jù)集，保證交互真實(shí)感和豐富隨機(jī)性。
GTA Combat數(shù)據(jù)集概況
實(shí)驗(yàn)
在多個(gè)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，證明了算法的有效性和泛化性。評(píng)測(cè)使用動(dòng)作識(shí)別準(zhǔn)確率和FID分?jǐn)?shù)作為量化指標(biāo)，結(jié)果表明算法效果優(yōu)異。
單人動(dòng)作生成結(jié)果對(duì)比
多人動(dòng)作生成結(jié)果對(duì)比
NTU-1P上的網(wǎng)絡(luò)模塊消融實(shí)驗(yàn)
NTU-2P上的網(wǎng)絡(luò)模塊消融實(shí)驗(yàn)
多人交互編碼消融實(shí)驗(yàn)
可視化結(jié)果
結(jié)論
繼續(xù)關(guān)注3D人體動(dòng)作生成領(lǐng)域的發(fā)展，新技術(shù)展示了巨大的潛力。歡迎加入我們共同探索人體動(dòng)作/交互的理解與生成領(lǐng)域。
參考文獻(xiàn)：
- Guo, Chuan, et al. “Action2motion: Conditioned generation of 3d human motions.” Proceedings of the 28th ACM International Conference on Multimedia. 2020.
- Petrovich, Mathis, Michael J. Black, and Gül Varol. “Action-conditioned 3D human motion synthesis with transformer VAE.” Proceedings of the IEEE/CVF International Conference on Computer Vision. 2021.
- Yan, Sijie, et al. “Convolutional sequence generation for skeleton-based action synthesis.” Proceedings of the IEEE/CVF International Conference on Computer Vision. 2019.
- Yan, Sijie, Yuanjun Xiong, and Dahua Lin. “Spatial temporal graph convolutional networks for skeleton-based action recognition.” Proceedings of the AAAI conference on artificial intelligence. Vol. 32. No. 1. 2018.
- Loper, Matthew, et al. “SMPL: A skinned multi-person linear model.” ACM transactions on graphics (TOG) 34.6 (2015): 1-16.
熱門課程推薦
熱門資訊
-
想了解動(dòng)畫制作和影視特效的區(qū)別嗎？本文將帶您深入探討動(dòng)畫制作和影視特效之間的關(guān)系，幫助你更好地理解這兩者的差異。
-
2. 快影、剪映、快剪輯三款軟件對(duì)比評(píng)測(cè)，哪款更適合小白？
想知道快影、剪映、快剪輯這三款軟件哪個(gè)更適合小白？看看這篇對(duì)比評(píng)測(cè)，帶你了解這三款軟件的功能和特點(diǎn)，快速選擇適合自己的視頻剪輯軟件。
-
3. 剪映專業(yè)版時(shí)間軌道軌道調(diào)整技巧
剪映專業(yè)版新增全局預(yù)覽縮放功能，可以輕松放大或縮小時(shí)間軌道。學(xué)習(xí)如何使用時(shí)間線縮放功能，提升剪輯效率。
-
4. 豆瓣8.3《鐵皮鼓》|電影符號(hào)學(xué)背后的視覺盛宴、社會(huì)隱喻主題
文|悅兒(叮咚,好電影來了!)《鐵皮鼓》是施隆多夫最具代表性的作品,影片于... 分析影片的社會(huì)隱喻主題;以及對(duì)于普通觀眾來說,它又帶給我們哪些現(xiàn)實(shí)啟發(fā)...
-
5. 從宏觀蒙太奇思維、中觀敘事結(jié)構(gòu)、微觀剪輯手法解讀《花樣年華》
中觀層面完成敘事結(jié)構(gòu)、以及微觀層面的剪輯手法,3個(gè)層次來解讀下電影《花樣年華》的蒙太奇魅力。一、 宏觀層面:運(yùn)用蒙太奇思維構(gòu)建電影劇本雛形。蒙...
-
6. 15種電影剪輯/轉(zhuǎn)場(chǎng)藝術(shù)，賦予影片絕妙魅力
15種電影剪輯/轉(zhuǎn)場(chǎng)手法，讓影片更吸引眼球！回顧電影中豐富多樣的專場(chǎng)技巧，比如瞬間從一個(gè)場(chǎng)景中變換到空中... 現(xiàn)在是測(cè)試技術(shù)的時(shí)候了！以下是一些常見剪輯手法，讓你觀影過程更加華麗動(dòng)人！
-
本文介紹了十款強(qiáng)大的PR視頻剪輯插件，幫助提升視頻剪輯效率，提高創(chuàng)作品質(zhì)，并降低創(chuàng)作難度。
-
8. 零基礎(chǔ)怎么學(xué)習(xí)視頻剪輯?新手視頻剪輯教程
1、每個(gè)切點(diǎn)需要理由和動(dòng)機(jī) 很剪輯師認(rèn)為,賦予每一個(gè)切點(diǎn)動(dòng)機(jī)是非常困難的。很多...
-
9. 淺析電影的三種隱喻形式——白日夢(mèng)、鏡子、窺視窗
電影創(chuàng)作者可以通過表意、造型、畫面展示等元素對(duì)隱身性的含義進(jìn)行隱喻,打... 電影和夢(mèng)境都具有普遍性的象征意義,夢(mèng)境中的元素能夠代表人內(nèi)心的欲望,...
-
10. 干貨丨真正厲害的剪輯師都喜歡用這九大“技巧轉(zhuǎn)場(chǎng)”
想學(xué)習(xí)剪輯技術(shù)轉(zhuǎn)場(chǎng)的方法嗎？了解這九種技巧轉(zhuǎn)場(chǎng)方法，提升影片藝術(shù)感染力，讓你的視頻作品更加生動(dòng)有趣！
最新文章
