激情六月丁香婷婷|亚洲色图AV二区|丝袜AV日韩AV|久草视频在线分类|伊人九九精品视频|国产精品一级电影|久草视频在线99|在线看的av网址|伊人99精品无码|午夜无码视频在线

高校合作1：010-59833514 ?咨詢電話：400-810-1418 服務(wù)與監(jiān)督電話：400-810-1418轉(zhuǎn)接2

Champ - 基于3D的人物圖片轉(zhuǎn)視頻動(dòng)畫(huà)模型

發(fā)布時(shí)間：2024-04-12 10:53:44 瀏覽量：244次

Champ是什么

Champ是由阿里巴巴、復(fù)旦大學(xué)和南京大學(xué)的研究人員共同提出的一種基于3D的將人物圖片轉(zhuǎn)換為視頻動(dòng)畫(huà)的模型，該方法結(jié)合了3D參數(shù)化模型（特別是SMPL模型）和潛在擴(kuò)散模型，能夠精確地捕捉和再現(xiàn)人體的3D形狀和動(dòng)態(tài)，同時(shí)保持動(dòng)畫(huà)的時(shí)間一致性和視覺(jué)真實(shí)性，以生成高質(zhì)量的人類(lèi)動(dòng)畫(huà)視頻。

Champ的官網(wǎng)入口

  • 官方項(xiàng)目主頁(yè)：https://fudan-generative-vision.github.io/champ/#/
  • GitHub源碼庫(kù)：https://github.com/fudan-generative-vision/champ
  • arXiv研究論文：https://arxiv.org/abs/2403.14781

Champ的功能特性

  • 人物圖片轉(zhuǎn)視頻動(dòng)畫(huà)：Champ可以將靜態(tài)人物圖片轉(zhuǎn)換為動(dòng)態(tài)視頻動(dòng)畫(huà)，通過(guò)精確捕捉和再現(xiàn)人體的形狀和動(dòng)作，創(chuàng)造出既真實(shí)又可控的動(dòng)態(tài)視覺(jué)內(nèi)容。
  • 3D形狀和姿勢(shì)表示：Champ能夠精確地表示和控制人體的形狀和姿勢(shì)，可從源視頻中提取的人體幾何和運(yùn)動(dòng)特征更加準(zhǔn)確。
  • 跨身份動(dòng)畫(huà)生成：Champ能夠?qū)?lái)自一個(gè)視頻的運(yùn)動(dòng)序列應(yīng)用到另一個(gè)不同身份的參考圖像上，實(shí)現(xiàn)跨身份的動(dòng)畫(huà)生成。
  • 高質(zhì)量的視頻生成：Champ在生成視頻時(shí)保持了角色和背景之間的一致性，同時(shí)通過(guò)時(shí)間對(duì)齊模塊確保幀之間的流暢過(guò)渡，從而產(chǎn)生高質(zhì)量的視頻輸出。
  • 與T2I文生圖模型結(jié)合：結(jié)合根據(jù)文本描述生成圖像的T2I文生圖模型，用戶可以通過(guò)文本描述指定動(dòng)畫(huà)中的角色外觀和動(dòng)作，然后Champ根據(jù)這些描述再生成動(dòng)畫(huà)視頻。

Champ的工作原理

  1. 3D人體參數(shù)化模型（SMPL）：使用SMPL模型來(lái)表示人體的形狀和姿勢(shì)。SMPL模型是一個(gè)基于參數(shù)的3D人體模型，能夠捕捉人體的形狀變化和姿勢(shì)變化。通過(guò)將SMPL模型擬合到參考圖像上，可以獲取人體的形狀參數(shù)和姿勢(shì)參數(shù)。
  2. 從源視頻中提取運(yùn)動(dòng)：利用現(xiàn)有的框架（如4D-Humans）從源視頻中提取人體的運(yùn)動(dòng)序列。這些運(yùn)動(dòng)序列包括連續(xù)的SMPL模型參數(shù)，用于描述視頻中人物的動(dòng)作。
  3. 生成深度、法線和語(yǔ)義圖：將SMPL模型渲染成深度圖、法線圖和語(yǔ)義圖，這些圖像包含了3D結(jié)構(gòu)、表面方向和人體部位的詳細(xì)信息。
  4. 運(yùn)動(dòng)對(duì)齊和指導(dǎo)：使用提取的SMPL模型參數(shù)來(lái)對(duì)齊參考圖像中的人物形狀和姿勢(shì)，確保動(dòng)畫(huà)中的人物與源視頻中的人物動(dòng)作一致。引入基于骨架的運(yùn)動(dòng)指導(dǎo)，以增強(qiáng)對(duì)復(fù)雜運(yùn)動(dòng)（如面部表情和手指動(dòng)作）的表示。
  5. 多層運(yùn)動(dòng)融合：通過(guò)自注意力機(jī)制，將深度、法線、語(yǔ)義和骨架信息的特征圖進(jìn)行融合，以生成一個(gè)綜合的運(yùn)動(dòng)指導(dǎo)信號(hào)。
  6. 潛在擴(kuò)散模型：利用潛在擴(kuò)散模型（如Latent Diffusion Model）作為生成框架，將上述運(yùn)動(dòng)指導(dǎo)信號(hào)和參考圖像編碼后的特征結(jié)合起來(lái)，生成動(dòng)畫(huà)幀。在潛在空間中應(yīng)用去噪過(guò)程，逐步從帶有噪聲的表示中恢復(fù)出清晰的動(dòng)畫(huà)幀。
  7. 訓(xùn)練和推理：在訓(xùn)練階段，模型學(xué)習(xí)如何根據(jù)給定的參考圖像和運(yùn)動(dòng)指導(dǎo)生成連貫的動(dòng)畫(huà)序列。在推理階段，模型根據(jù)新的參考圖像和運(yùn)動(dòng)序列生成動(dòng)畫(huà)，展示出其泛化能力。
  8. 視頻生成：將生成的幀序列組合成視頻，同時(shí)確保視頻中的人物與參考圖像在視覺(jué)上保持一致，且動(dòng)作流暢自然。

熱門(mén)課程推薦

熱門(mén)資訊

請(qǐng)綁定手機(jī)號(hào)

獲取驗(yàn)證碼
x

同學(xué)您好！

您已成功報(bào)名0元試學(xué)活動(dòng)，老師會(huì)在第一時(shí)間與您取得聯(lián)系，請(qǐng)保持電話暢通！
確定