激情六月丁香婷婷|亚洲色图AV二区|丝袜AV日韩AV|久草视频在线分类|伊人九九精品视频|国产精品一级电影|久草视频在线99|在线看的av网址|伊人99精品无码|午夜无码视频在线

AI與3D攜手創(chuàng)作：打造專屬游戲場景的新趨勢

發(fā)布時間：2024-08-19 11:29:11 瀏覽量：233次

機器之心報道

編輯：澤南、小舟

英偉達進入AI生成模型領(lǐng)域的研究，直接比別人多一個次元：一句描述生成3D模型。

我們生活在三維的世界里，盡管目前大多數(shù)應用程序是2D的，但人們一直對3D數(shù)字內(nèi)容有很高的需求，包括游戲、娛樂、建筑和機器人模擬等應用。

然而，創(chuàng)建專業(yè)的3D內(nèi)容需要很高的藝術(shù)與審美素養(yǎng)和大量3D建模專業(yè)知識。人工完成這項工作需要花費大量時間和精力來培養(yǎng)這些技能。

需求大又是「勞動密集型行業(yè)」，那么有沒有可能交給AI來做？上周五，英偉達提交到預印版論文平臺arXiv的論文引起了人們的關(guān)注。

和現(xiàn)在流行的NovelAI差不多，人們只需要輸入一段文字比如「一只坐在睡蓮上的藍色箭毒蛙」，AI就能給你生成個紋理造型俱全的3D模型出來。

Magic3D還可以執(zhí)行基于提示的3D網(wǎng)格編輯：給定低分辨率3D模型和基本提示，可以更改文本從而修改生成的模型內(nèi)容。此外，作者還展示了保持畫風，以及將2D圖像樣式應用于3D模型的能力。

Stable Diffusion的論文在2024年首次提交，幾個月就已經(jīng)進化到這樣的程度，不禁讓人感嘆科技發(fā)展的速度。

英偉達表示，你只需要在這個基礎(chǔ)上稍作修改，生成的模型就可以當做游戲或CGI藝術(shù)場景的素材了。

3D生成模型的方向并不神秘，其實在2024年谷歌曾經(jīng)發(fā)布過一款文本到3D的生成模型DreamFusion，英偉達在Magic3D的研究中直接對標該方法。

類似于DreamFusion用文本生成2D圖像，再將其優(yōu)化為體積NeRF（神經(jīng)輻射場）數(shù)據(jù)的流程，Magic3D使用兩階段生成法，用低分辨率生成的粗略模型再優(yōu)化到更高的分辨率。

英偉達的方法首先使用低分辨率擴散先驗獲得粗糙模型，并使用稀疏3D哈希網(wǎng)格結(jié)構(gòu)進行加速。用粗略表示作為初始，再進一步優(yōu)化了帶紋理的3D網(wǎng)格模型，該模型具有與高分辨率潛在擴散模型交互的高效可微分渲染器。

Magic3D可以在40分鐘內(nèi)創(chuàng)建高質(zhì)量的3D網(wǎng)格模型，比DreamFusion快2倍（后者平均需要1.5小時），同時還實現(xiàn)了更高的分辨率。統(tǒng)計表明相比DreamFusion，61.7%的人更喜歡英偉達的新方法。

連同圖像調(diào)節(jié)生成功能，新技術(shù)為各種創(chuàng)意應用開辟了新途徑。

論文鏈接：點擊咨詢

技術(shù)細節(jié)

Magic3D可以在較短的計算時間內(nèi)根據(jù)文本prompt合成高度詳細的3D模型。Magic3D通過改進DreamFusion中的幾個主要設計選擇來使用文本prompt合成高質(zhì)量的3D內(nèi)容。

具體來說，Magic3D是一種從粗到精的優(yōu)化方法，其中使用不同分辨率下的多個擴散先驗來優(yōu)化3D表征，從而生成視圖一致的幾何形狀以及高分辨率細節(jié)。Magic3D使用監(jiān)督方法合成8倍高分辨率的3D內(nèi)容，速度也比DreamFusion快2倍。

Magic3D的整個工作流程分為兩個階段：在第一階段，該研究優(yōu)化了類似于DreamFusion的粗略神經(jīng)場表征，以實現(xiàn)具有基于哈希網(wǎng)格的內(nèi)存和計算的高效場景表征。

在第二階段該方法切換到優(yōu)化網(wǎng)格表征。這個步驟很關(guān)鍵，它允許該方法在高達512×512的分辨率下利用擴散先驗。由于3D網(wǎng)格適用于快速圖形渲染，可以實時渲染高分辨率圖像，因此該研究利用基于光柵化的高效微分渲染器和相機特寫來恢復幾何紋理中的高頻細節(jié)。

基于上述兩個階段，該方法可以生成高保真的3D內(nèi)容，并且很容易在標準圖形軟件中導入和可視化。

此外，該研究展示了用文本prompt對3D合成過程的創(chuàng)造性控制能力，如下圖1所示。

為了對比實際應用效果，英偉達的研究人員把Magic3D和DreamFusion在397個文本提示生成的內(nèi)容上進行了比較。平均的粗略模型生成階段花費15分鐘，精細階段訓練了25分鐘，所有運行時間均在8塊英偉達A100 GPU上測得。

雖然論文和demo只是第一步，但英偉達已經(jīng)為Magic3D想好了未來的應用方向：給游戲和元宇宙世界提供制作海量3D模型的工具，而且讓所有人都可以上手使用。

當然，最早上線這項功能的可能會是英偉達自己的Omniverse。

參考內(nèi)容：點擊咨詢

火星時代教育一直致力于數(shù)字藝術(shù)教育，提供游戲設計培訓、動畫培訓、原畫培訓、AI繪畫培訓等課程。想要了解更多信息，歡迎點擊咨詢。

熱門課程推薦

熱門資訊

請綁定手機號

獲取驗證碼
x

同學您好！

您已成功報名0元試學活動，老師會在第一時間與您取得聯(lián)系，請保持電話暢通！
確定