激情六月丁香婷婷|亚洲色图AV二区|丝袜AV日韩AV|久草视频在线分类|伊人九九精品视频|国产精品一级电影|久草视频在线99|在线看的av网址|伊人99精品无码|午夜无码视频在线

高校合作1：010-59833514 ?咨詢電話：400-810-1418 服務(wù)與監(jiān)督電話：400-810-1418轉(zhuǎn)接2

Make-It-Vivid:通過文字描述生成3D卡通動畫角色

發(fā)布時間：2024-04-11 10:28:18 瀏覽量：172次

劃重點:

?? 該項目致力于從文本指令自動生成卡通角色的紋理設(shè)計。

?? 提出了 Make-It-Vivid 方法，通過 UV 空間中的文本生成高質(zhì)量的紋理貼圖。

?? 實驗表明該方法在紋理生成方面優(yōu)于當(dāng)前方法，可實現(xiàn)高效角色著色和信實的生成。

站長之家（ChinaZ.com）4月3日 消息:在創(chuàng)造生動的3D動畫角色時，面臨著這樣的挑戰(zhàn)，除了要滿足特定領(lǐng)域的高要求比如角色需要有獨特風(fēng)格和豐富細(xì)節(jié)，還缺乏高質(zhì)量的數(shù)據(jù)支撐?，F(xiàn)有方法通常無法生成具有豐富細(xì)節(jié)，和過度自然的紋理，使得角色看起來不真實，不夠生動。

因此，來自上海交通大學(xué)的海AI實驗室和清華大學(xué)的研究團隊，研究著眼于基于輸入指令為卡通角色自動生成紋理設(shè)計。為了解決領(lǐng)域特定需求和高質(zhì)量數(shù)據(jù)不足的挑戰(zhàn)，他們提出了 “Make-It-Vivid” 方法，這是首次嘗試從文本中在 UV 空間生成高質(zhì)量紋理。

這個框架能夠根據(jù)文本描述自動生成高質(zhì)量的3D紋理。該方法通過使用視覺問答代理生成了詳細(xì)的文本 - 紋理配對數(shù)據(jù)，為3D 角色準(zhǔn)備了數(shù)據(jù)。然后，他們定制了一個預(yù)訓(xùn)練的文本到圖像模型，以模板結(jié)構(gòu)生成紋理地圖，同時保留自然的2D 圖像知識。此外，為了增強細(xì)粒度細(xì)節(jié)，他們提出了一種新穎的對抗學(xué)習(xí)方案，縮短了原始數(shù)據(jù)集與真實紋理領(lǐng)域之間的域差。

大量實驗證明，他們的方法優(yōu)于當(dāng)前的紋理生成方法，實現(xiàn)了高效的角色紋理處理和根據(jù)提示生成忠實的結(jié)果。此外，他們展示了各種應(yīng)用，如域外生成和紋理風(fēng)格化。他們還提供了一個高效的生成系統(tǒng)，用于自動文本引導(dǎo)的紋理角色生成和動畫。

這一方法接受一對數(shù)據(jù)作為輸入，包括一個紋理地圖、相應(yīng)的文本描述 P 和網(wǎng)格模型 M。他們對預(yù)訓(xùn)練的文本到圖像擴散模型的低秩適配器?θ 進行微調(diào)，以生成高質(zhì)量 UV 紋理。為了提高合成紋理的質(zhì)量和感知保真度，他們引入了對抗訓(xùn)練來增強紋理細(xì)節(jié)。他們利用由 ControlNet 生成的渲染深度條件的合成可信圖像作為指導(dǎo)，引導(dǎo)這種對抗性訓(xùn)練。

該項目的代碼即將發(fā)布，項目入口
:https://top.aibase.com/tool/make-it-vivid

熱門課程推薦

熱門資訊

請綁定手機號

獲取驗證碼
x

同學(xué)您好！

您已成功報名0元試學(xué)活動，老師會在第一時間與您取得聯(lián)系，請保持電話暢通！
確定