火星網(wǎng)校
Stability AI開源上新:3D生成引入視頻擴散模型，質(zhì)量一致性up
發(fā)布時間：2024-03-22 15:03:27 瀏覽量：235次
魚羊 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
Stable Diffusion背后公司Stability AI又上新了。
這次帶來的是圖生3D方面的新進(jìn)展：
基于Stable Video Diffusion的Stable Video 3D（SV3D），只用一張圖片就能生成高質(zhì)量3D網(wǎng)格。
Stable Video Diffusion（SVD）是Stability AI此前推出的高分辨率視頻生成模型。也就是說，此番登場的SV3D首次將視頻擴散模型應(yīng)用到了3D生成領(lǐng)域。
官方表示，基于此，SV3D大大提高了3D生成的質(zhì)量和視圖一致性。
模型權(quán)重依然開源，不過僅可用于非商業(yè)用途，想要商用的話還得買個Stability AI會員~
話不多說，還是來扒一扒論文細(xì)節(jié)。
將視頻擴散模型用于3D生成
引入潛在視頻擴散模型，SV3D的核心目的是利用視頻模型的時間一致性來提高3D生成的一致性。
并且視頻數(shù)據(jù)本身也比3D數(shù)據(jù)更容易獲得。
Stability AI這次提供兩個版本的SV3D：
- SV3D_u：基于單張圖像生成軌道視頻。
- SV3D_p：擴展了SV3D_u的功能，可以根據(jù)指定的相機路徑創(chuàng)建3D模型視頻。
研究人員還改進(jìn)了3D優(yōu)化技術(shù)：采用由粗到細(xì)的訓(xùn)練策略，優(yōu)化NeRF和DMTet網(wǎng)格來生成3D對象。
他們還設(shè)計了一種名為掩碼得分蒸餾采樣（SDS）的特殊損失函數(shù)，通過優(yōu)化在訓(xùn)練數(shù)據(jù)中不直接可見的區(qū)域，來提高生成3D模型的質(zhì)量和一致性。
同時，SV3D引入了一個基于球面高斯的照明模型，用于分離光照效果和紋理，在保持紋理清晰度的同時有效減少了內(nèi)置照明問題。
具體到架構(gòu)方面，SV3D包含以下關(guān)鍵組成部分：
- UNet：SV3D是在SVD的基礎(chǔ)上構(gòu)建的，包含一個多層UNet，其中每一層都有一系列殘差塊（包括3D卷積層）和兩個分別處理空間和時間信息的Transformer模塊。
- 條件輸入：輸入圖像通過VAE編碼器嵌入到潛在空間中，會和噪聲潛在狀態(tài)合并，一起輸入到UNet中；輸入圖像的CLIP嵌入矩陣則被用作每個Transformer模塊交叉注意力層的鍵值對。
- 相機軌跡編碼：SV3D設(shè)計了靜態(tài)和動態(tài)兩種類型的軌道來研究相機姿態(tài)條件的影響。靜態(tài)軌道中，相機以規(guī)律間隔的方位角圍繞對象；動態(tài)軌道則允許不規(guī)則間隔的方位角和不同的仰角。
相機的運動軌跡信息和擴散噪聲的時間信息會一起輸入到殘差模塊中，轉(zhuǎn)換為正弦位置嵌入，然后這些嵌入信息會被整合并進(jìn)行線性變換，加入到噪聲時間步長嵌入中。
這樣的設(shè)計旨在通過精細(xì)控制相機軌跡和噪聲輸入，提升模型處理圖像的能力。
此外，SV3D在生成過程中采用CFG（無分類器引導(dǎo)）來控制生成的清晰度，特別是在生成軌道的最后幾幀時，采用三角形CFG縮放來避免過度銳化。
研究人員在Objaverse數(shù)據(jù)集上訓(xùn)練SV3D，圖像分辨率為575×576，視場角為33.8度。論文透露，所有三種模型（SV3D_u，SV3D_c，SV3D_p）在4個節(jié)點上訓(xùn)練了6天左右，每個節(jié)點配備8個80GB的A100 GPU。
實驗結(jié)果
在新視角合成（NVS）和3D重建方面，SV3D超過了現(xiàn)有其他方法，達(dá)到SOTA。
從定性比較的結(jié)果來看，SV3D生成的多視角試圖，細(xì)節(jié)更豐富，更接近與原始輸入圖像。也就是說，SV3D在理解和重構(gòu)物體的3D結(jié)構(gòu)方面，能夠更準(zhǔn)確地捕捉到細(xì)節(jié)，并保持視角變換時的一致性。
這樣的成果，引發(fā)了不少網(wǎng)友的感慨：
可以想象，在未來6-12個月內(nèi)，3D生成技術(shù)將會被用到游戲和視頻項目中。
評論區(qū)也總少不了一些大膽的想法……
并且項目開源嘛，已經(jīng)有第一波小伙伴玩上了，在4090上就能跑起來。
如果你也有第一手實測體會，歡迎在評論區(qū)分享~
參考鏈接：
[1]https://twitter.com/StabilityAI/status/1769817136799855098
[2]https://stability.ai/news/introducing-stable-video-3d
[3]https://sv3d.github.io/index.html
— 完 —
量子位 QbitAI · 頭條號
關(guān)注我們，第一時間獲知前沿科技動態(tài)簽約
熱門課程推薦
熱門資訊
-
探討游戲引擎的文章，介紹了10款游戲引擎及其代表作品，涵蓋了RAGE Engine、Naughty Dog Game Engine、The Dead Engine、Cry Engine、Avalanche Engine、Anvil Engine、IW Engine、Frostbite Engine、Creation引擎、Unreal Engine等引擎。借此分析引出了游戲設(shè)計領(lǐng)域和數(shù)字藝術(shù)教育的重要性，歡迎點擊咨詢報名。
-
2. 手機游戲如何開發(fā)(如何制作傳奇手游，都需要準(zhǔn)備些什么？)
?如何制作傳奇手游，都需要準(zhǔn)備些什么？提到傳奇手游相信大家都不陌生，他是許多80、90后的回憶；從起初的端游到現(xiàn)在的手游，說明時代在進(jìn)步游戲在更新，更趨于方便化移動化。而如果我們想要制作一款傳奇手游的
-
3. B站視頻剪輯軟件「必剪」：免費、炫酷特效，小白必備工具
B站視頻剪輯軟件「必剪」，完全免費、一鍵制作炫酷特效，適合新手小白?？靵碓囋?！
-
游戲中玩家將面臨武俠人生的掙扎抉擇,戰(zhàn)或降?殺或放?每個抉定都將觸發(fā)更多愛恨糾葛的精彩奇遇。《天命奇御》具有多線劇情多結(jié)局,不限主線發(fā)展,高自由...
-
5. Bigtime加密游戲經(jīng)濟(jì)體系揭秘，不同玩家角色的經(jīng)濟(jì)活動
Bigtime加密游戲經(jīng)濟(jì)模型分析，探討游戲經(jīng)濟(jì)特點，幫助玩家更全面了解這款GameFi產(chǎn)品。
-
6. 3D動畫軟件你知道幾個?3ds Max、Blender、Maya、Houdini大比拼
當(dāng)提到3D動畫軟件或動畫工具時,指的是數(shù)字內(nèi)容創(chuàng)建工具。它是用于造型、建模以及繪制3D美術(shù)動畫的軟件程序。但是,在3D動畫軟件中還包含了其他類型的...
-
7. 3D動漫建模全過程，不是一般人能學(xué)的會的，會的多不是人?
步驟01:面部,頸部,身體在一起這次我不準(zhǔn)備設(shè)計圖片,我從雕刻進(jìn)入。這一次,它將是一種純粹關(guān)注建模而非整體繪畫的形式。像往常一樣,我從Sphere創(chuàng)建它...
-
8. 如何自己開發(fā)一款游戲(游戲開發(fā)入門必看：五大獨立游戲開發(fā)技巧)
?游戲開發(fā)入門必看：五大獨立游戲開發(fā)技巧無論您是剛剛起步開發(fā)自己的第一款游戲，還是已經(jīng)制作了幾款游戲，本篇文章中的5大獨立游戲開發(fā)技巧都可以幫助您更好地設(shè)計下一款游戲。無論你對游戲有著什么樣的概念，都
-
?三昧動漫對于著名ARPG游戲《巫師》系列，最近CD Projekt 的高層回應(yīng)并不會推出《巫師4》。因為《巫師》系列在策劃的時候一直定位在“三部曲”的故事框架，所以在游戲的出品上不可能出現(xiàn)《巫師4》
-
10. 3D打印技巧揭秘！Cura設(shè)置讓你的模型更堅固
想讓你的3D打印模型更堅固？不妨嘗試一下Cura參數(shù)設(shè)置和設(shè)計技巧，讓你輕松掌握！
最新文章
