火星網(wǎng)校
爆火!最強(qiáng)Text-to-3D開(kāi)源方案LucidDreamer:毛發(fā)都給你合成出來(lái)
發(fā)布時(shí)間：2024-03-24 19:39:10 瀏覽量：184次
作者：泡椒味的口香糖 | 來(lái)源：3D視覺(jué)工坊
在公眾號(hào)「3D視覺(jué)工坊」后臺(tái)，回復(fù)「原論文」可獲取論文pdf、代碼鏈接
添加微信：dddvisiona，備注：NeRF，拉你入群。文末附行業(yè)細(xì)分群
0. 筆者個(gè)人體會(huì)
最近單圖像合成3D、文本合成3D等等工作可謂大火，不停的看見(jiàn)"10秒/45秒/1分鐘內(nèi)合成高保真3D模型"的標(biāo)題，大多數(shù)都是基于擴(kuò)散模型和NeRF二次開(kāi)發(fā)的，官方主頁(yè)展示的交互式demo也確實(shí)效果拔群。
但是大多數(shù)方案合成的3D模型還是太過(guò)于平滑了，對(duì)于毛發(fā)、皮膚紋理、金屬質(zhì)感這種高頻細(xì)節(jié)處理的不太好，很難說(shuō)達(dá)到了照片級(jí)渲染。今天筆者將為大家分享香港科技大學(xué)、之江實(shí)驗(yàn)室、浙江大學(xué)最新開(kāi)源的工作LucidDreamer，合成的模型非常精細(xì)！
下面一起來(lái)閱讀一下這項(xiàng)工作，文末附論文和代碼鏈接~
1. 效果展示
給定文本提示，LucidDreamer可以合成高保真的3D模型，可以發(fā)現(xiàn)合成的模型真的是很精細(xì)了，保留了非常多的高頻細(xì)節(jié)。3D建模師又要睡不著覺(jué)了~這里也推薦工坊推出的新課程《零基礎(chǔ)入門(mén)四旋翼建模與控制(MATLAB仿真)[理論+實(shí)戰(zhàn)]》。
2. 具體原理是什么？
現(xiàn)有Text-to-3D方案在渲染3D模型的高頻細(xì)節(jié)上處理效果不太好，這是因?yàn)楝F(xiàn)有方案大多基于SDS（Score Distillation Sampling）進(jìn)行，造成了模型的過(guò)度平滑。
因此，作者換了一個(gè)技術(shù)路線：提出一種區(qū)間得分匹配（Interval Score Matching，ISM）的新方法。ISM采用確定性的擴(kuò)散軌跡，并利用基于區(qū)間的得分匹配來(lái)抵消過(guò)度平滑。此外，還將3D高斯splatting（ACM SIGGRAPH 2023會(huì)議最佳論文）融入到文本到3D中來(lái)提高渲染速度。
具體的框架是，首先通過(guò)預(yù)訓(xùn)練的text-to-3D生成器初始化3D表示θ(實(shí)際操作用的是高斯splatting)，結(jié)合預(yù)訓(xùn)練的2D去噪擴(kuò)散概率模型，使用DDIM反演將隨機(jī)視圖擾動(dòng)為無(wú)條件噪聲的潛在軌跡，最后使用作者提出的ISM來(lái)更新θ。
3. 再來(lái)看看和同類(lèi)方法的對(duì)比
看一下和同類(lèi)text-to-3D的效果對(duì)比，其他方案要么出現(xiàn)了語(yǔ)義歧義，要么渲染速度過(guò)慢。
作者提出的ISM和同類(lèi)SDS策略的對(duì)比，可以發(fā)現(xiàn)ISM很大程度上預(yù)測(cè)了3D物體的高頻細(xì)節(jié)，使得模型更貼近照片級(jí)渲染！
作者還展示了ISM的應(yīng)用價(jià)值，包括2D/3D編輯、3D虛擬任務(wù)生成、個(gè)性化3D生成，進(jìn)一步擴(kuò)展了這項(xiàng)工作的意義。這里也推薦工坊推出的新課程《零基礎(chǔ)入門(mén)四旋翼建模與控制(MATLAB仿真)[理論+實(shí)戰(zhàn)]》。
對(duì)更多實(shí)驗(yàn)結(jié)果和文章細(xì)節(jié)感興趣的讀者，可以閱讀一下論文原文~
熱門(mén)課程推薦
熱門(mén)資訊
-
探討游戲引擎的文章，介紹了10款游戲引擎及其代表作品，涵蓋了RAGE Engine、Naughty Dog Game Engine、The Dead Engine、Cry Engine、Avalanche Engine、Anvil Engine、IW Engine、Frostbite Engine、Creation引擎、Unreal Engine等引擎。借此分析引出了游戲設(shè)計(jì)領(lǐng)域和數(shù)字藝術(shù)教育的重要性，歡迎點(diǎn)擊咨詢(xún)報(bào)名。
-
2. 手機(jī)游戲如何開(kāi)發(fā)(如何制作傳奇手游，都需要準(zhǔn)備些什么？)
?如何制作傳奇手游，都需要準(zhǔn)備些什么？提到傳奇手游相信大家都不陌生，他是許多80、90后的回憶；從起初的端游到現(xiàn)在的手游，說(shuō)明時(shí)代在進(jìn)步游戲在更新，更趨于方便化移動(dòng)化。而如果我們想要制作一款傳奇手游的
-
3. B站視頻剪輯軟件「必剪」：免費(fèi)、炫酷特效，小白必備工具
B站視頻剪輯軟件「必剪」，完全免費(fèi)、一鍵制作炫酷特效，適合新手小白?？靵?lái)試試！
-
4. Steam值得入手的武俠游戲盤(pán)點(diǎn)，各具特色的快意江湖
游戲中玩家將面臨武俠人生的掙扎抉擇,戰(zhàn)或降?殺或放?每個(gè)抉定都將觸發(fā)更多愛(ài)恨糾葛的精彩奇遇?！短烀嬗肪哂卸嗑€劇情多結(jié)局,不限主線發(fā)展,高自由...
-
5. Bigtime加密游戲經(jīng)濟(jì)體系揭秘，不同玩家角色的經(jīng)濟(jì)活動(dòng)
Bigtime加密游戲經(jīng)濟(jì)模型分析，探討游戲經(jīng)濟(jì)特點(diǎn)，幫助玩家更全面了解這款GameFi產(chǎn)品。
-
6. 3D動(dòng)畫(huà)軟件你知道幾個(gè)?3ds Max、Blender、Maya、Houdini大比拼
當(dāng)提到3D動(dòng)畫(huà)軟件或動(dòng)畫(huà)工具時(shí),指的是數(shù)字內(nèi)容創(chuàng)建工具。它是用于造型、建模以及繪制3D美術(shù)動(dòng)畫(huà)的軟件程序。但是,在3D動(dòng)畫(huà)軟件中還包含了其他類(lèi)型的...
-
7. 3D動(dòng)漫建模全過(guò)程，不是一般人能學(xué)的會(huì)的，會(huì)的多不是人?
步驟01:面部,頸部,身體在一起這次我不準(zhǔn)備設(shè)計(jì)圖片,我從雕刻進(jìn)入。這一次,它將是一種純粹關(guān)注建模而非整體繪畫(huà)的形式。像往常一樣,我從Sphere創(chuàng)建它...
-
8. 如何自己開(kāi)發(fā)一款游戲(游戲開(kāi)發(fā)入門(mén)必看：五大獨(dú)立游戲開(kāi)發(fā)技巧)
?游戲開(kāi)發(fā)入門(mén)必看：五大獨(dú)立游戲開(kāi)發(fā)技巧無(wú)論您是剛剛起步開(kāi)發(fā)自己的第一款游戲，還是已經(jīng)制作了幾款游戲，本篇文章中的5大獨(dú)立游戲開(kāi)發(fā)技巧都可以幫助您更好地設(shè)計(jì)下一款游戲。無(wú)論你對(duì)游戲有著什么樣的概念，都
-
9. 開(kāi)發(fā)三昧游戲叫什么(三昧動(dòng)漫)
?三昧動(dòng)漫對(duì)于著名ARPG游戲《巫師》系列，最近CD Projekt 的高層回應(yīng)并不會(huì)推出《巫師4》。因?yàn)椤段讕煛废盗性诓邉澋臅r(shí)候一直定位在“三部曲”的故事框架，所以在游戲的出品上不可能出現(xiàn)《巫師4》
-
10. 3D打印技巧揭秘！Cura設(shè)置讓你的模型更堅(jiān)固
想讓你的3D打印模型更堅(jiān)固？不妨嘗試一下Cura參數(shù)設(shè)置和設(shè)計(jì)技巧，讓你輕松掌握！
最新文章
